#рекуррентная_нейронная_сеть — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #рекуррентная_нейронная_сеть, aggregated by home.social.
-
Нео-РНН или Make RNNs great again
Когда в 2017 году появились трансформеры, популярные до этого RNN обрели слишком серьезного конкурента и отошли на второй план. Трансформеры допускали распараллеливание, а значит — ускоренное обучение, поэтому быстро захватили NLP. Преимущества трансформеров понятны, но с моделированием длинных последовательностей возникают проблемы даже у них. Для RNN это тоже непростая задача из-за исчезающих или взрывающихся градиентов. Но RNN с их линейной зависимостью от масштаба выглядят гораздо привлекательнее квадратичной сложности трансформеров. Идеальным вариантом было бы совместить преимущества тех и других.
https://habr.com/ru/companies/ntr/articles/796225/
#LLM #рекуррентная_нейросеть #рекуррентная_нейронная_сеть #языковые_модели #rwkv #ssm
-
Нео-РНН или Make RNNs great again
Когда в 2017 году появились трансформеры, популярные до этого RNN обрели слишком серьезного конкурента и отошли на второй план. Трансформеры допускали распараллеливание, а значит — ускоренное обучение, поэтому быстро захватили NLP. Преимущества трансформеров понятны, но с моделированием длинных последовательностей возникают проблемы даже у них. Для RNN это тоже непростая задача из-за исчезающих или взрывающихся градиентов. Но RNN с их линейной зависимостью от масштаба выглядят гораздо привлекательнее квадратичной сложности трансформеров. Идеальным вариантом было бы совместить преимущества тех и других.
https://habr.com/ru/companies/ntr/articles/796225/
#LLM #рекуррентная_нейросеть #рекуррентная_нейронная_сеть #языковые_модели #rwkv #ssm