#почему_нейросети_забывают — Public Fediverse posts

Забыла, как писать «Hello, world»: почему нейросети теряют память

Представьте: вы месяцами обучали языковую модель, она выдает блестящие ответы — и вдруг после загрузки нового датасета словно теряет память и начинает ошибаться в задачах, которые раньше решала без проблем. Знакомо? Причина такого поведения — не баг, а побочный эффект обучения нейросетей, известный как катастрофическое забывание (catastrophic forgetting). Оно особенно досаждает при тренировке LLM и мощных систем компьютерного зрения, которые приходится регулярно докармливать свежими данными. Увы, с каждым таким апдейтом есть риск, что старая информация «испарится» из модели. Почему забывание происходит — и всегда ли это нежелательный эффект? Давайте разбираться.

https://habr.com/ru/companies/magnus-tech/articles/987422/

#забывание_в_нейросетях #катастрофическое_забывание_в_LLM #забывание_в_языковых_моделях #catastrophic_forgetting #причины_забывания_в_нейросетях #деградация_моделей #почему_нейросети_забывают #ошибки_при_дообучении_моделей