#как_бороться_с_забыванием — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #как_бороться_с_забыванием, aggregated by home.social.
-
Катастрофическое забывание для новичков: реплей-буферы, регуляризация, EWC и Synaptic intelligence
Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки. Глухой телефон или неумело прочитанная книга – хорошая метафора. Но есть другая крупная проблема в ML – катастрофическое забывание.
https://habr.com/ru/articles/846434/
#регуляризация #реплейбуферы #катастрофическое_забывание #нейросети #искусственный_интеллект #как_бороться_с_забыванием #обновление_нейросети #обучение_нейросетей