#catastrophic_forgetting — Public Fediverse posts

Забыла, как писать «Hello, world»: почему нейросети теряют память

Представьте: вы месяцами обучали языковую модель, она выдает блестящие ответы — и вдруг после загрузки нового датасета словно теряет память и начинает ошибаться в задачах, которые раньше решала без проблем. Знакомо? Причина такого поведения — не баг, а побочный эффект обучения нейросетей, известный как катастрофическое забывание (catastrophic forgetting). Оно особенно досаждает при тренировке LLM и мощных систем компьютерного зрения, которые приходится регулярно докармливать свежими данными. Увы, с каждым таким апдейтом есть риск, что старая информация «испарится» из модели. Почему забывание происходит — и всегда ли это нежелательный эффект? Давайте разбираться.

https://habr.com/ru/companies/magnus-tech/articles/987422/

#забывание_в_нейросетях #катастрофическое_забывание_в_LLM #забывание_в_языковых_моделях #catastrophic_forgetting #причины_забывания_в_нейросетях #деградация_моделей #почему_нейросети_забывают #ошибки_при_дообучении_моделей

Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)

Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.

https://habr.com/ru/articles/979030/

#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training