#continual_learning — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #continual_learning, aggregated by home.social.
-
Memory Is All You Need: Активная память для трансформеров — мой новый подход к долгосрочным зависимостям в ИИ
Переосмысливаем память в ИИ: от пассивного контекста к активной, 'живой' системе. Мой проект MemNet с Hebbian-графом и 'сновидениями' решает задачи долгосрочных зависимостей. Код на GitHub + эксперименты внутри!
https://habr.com/ru/articles/983684/
#AI #machine_learning #transformers #memory_augmented_networks #continual_learning #neural_memory #longterm_dependencies #rag #neuroscience #paradigm_shift
-
Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)
Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.
https://habr.com/ru/articles/979030/
#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training