#gelu — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #gelu, aggregated by home.social.
-
#LISTA #CONDUCĂTORILOR DE #STAT ÎN #ANUL 2010 multi-search-tag-explorer.aepiot.com/advanced-sea... #VIOARA #ROȘIE semantic-search.allgraph.ro/advanced-sea... #GELU #IONESCU headlines-world.com/advanced-sea... aepiot.com aePiot: The direct path to Web 4.0. Build nodes and maximize SEO impact.
MultiSearch Tag Explorer -
Стресс-тест функций активации: GELU vs Tanh
В современных нейросетях, включая LLM на базе Transformer, стандартом стали неограниченные функции активации — ReLU и GELU. Их основное преимущество, хорошая проходимость градиентов и быстрое обучение глубоких моделей. Однако на практике наблюдается проблема: при появлении доминирующих паттернов или высокочастотного шума во входном контексте (длинные диалоги, шумные данные, повторяющиеся или доминирующие токены) модели становятся нестабильными и склонными к деградации генерации и галлюцинациям. В этой статье я попытался выяснить, связан ли принципиально выбор функции активации с галлюцинациями LLM.
-
Activation Functions: The 'Secret Sauce' of Deep Learning
https://techlife.blog/posts/activation-functions-deep-learning/ #ActivationFunctions #DeepLearning #NeuralNetworks
-
"GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance"
"Our findings reinforce the exceptional performance of the GELU activation function, which attains the highest test accuracy and lowest test loss among the activation functions investigated. Other activation functions, such as Hardswish and ReLU6, exhibit commendable performance as well..."
-
"GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance"
"Our findings reinforce the exceptional performance of the GELU activation function, which attains the highest test accuracy and lowest test loss among the activation functions investigated. Other activation functions, such as Hardswish and ReLU6, exhibit commendable performance as well..."