#глобальная_оптимизация — Public Fediverse posts

Ученые выяснили, как стабилизируется обучение нейросетей при увеличении объема данных

Исследователи из МФТИ впервые систематически изучили, как изменяется и стабилизируется процесс обучения нейронных сетей по мере добавления новых данных. Их работа, сочетающая теоретический анализ и обширные эксперименты, показывает, что так называемый «ландшафт функции потерь» нейросети сходится к определенной форме при увеличении размера выборки, что имеет важные последствия для понимания глубинного обучения и разработки методов определения необходимого объема данных. Исследование опубликовано в Doklady Mathematics.

https://habr.com/ru/articles/961694/

#ландшафт_функции_потерь #глобальная_оптимизация #матрица_Гессе #классификация_изображений #глубокое_обучение