#graph_memory — Public Fediverse posts

Быстрое обучение, экономия ресурсов и другие преимущества сетей эхо-состояний

Существует класс рекуррентных нейросетей, в котором обучается только линейный выходной слой, а внутренняя структура (резервуар) остаётся фиксированной. Отсюда появилось название более общего подхода — «резервуарные вычисления». Такая архитектура делает нейросети крайне быстрыми и энергоэффективными, но сложными в настройке. Поэтому они пока не получили широкого распространения и долгое время оставались в тени более универсальных архитектур. Сотрудник отдела перспективных исследований компании «Криптонит» Илья Андросов провёл глубокий сравнительный анализ архитектур и методов обучения сетей эхо-состояний (Echo State Networks, ESNs). Автор выполнил обзор ряда известных ESNs и для некоторых из них предложил модификации, существенно улучшившие их основные характеристики.

https://habr.com/ru/companies/kryptonite/articles/1072416/

#резервуарные_вычисления #сети_эхосостояний #ESN #reservoir #нейрополевые_модели #SVD #временные_ряды #графовая_память #Graph_memory #рекуррентные_нейросети