#масштабирование_языковых_моделей — Public Fediverse posts

Mixture-of-Experts: архитектура, которая спасает LLM от их собственного аппетита

Долгое время большие языковые модели строились по принципу «больше — лучше». Топовые компании гнались за количеством параметров, не считаясь с затратами. Но когда счета за обучение GPT-4 превысили $100 миллионов, а инференс начал требовать промышленных масштабов энергии, стало ясно: «грубая сила» больше не работает. Эффективность старого прямолинейного подхода напоминает использование грузового поезда для доставки одной-единственной буханки хлеба: задача выполняется, но цена процесса абсурдна. Индустрии срочно понадобился способ разорвать связку «умнее = дороже». И решением стала архитектура Mixture-of-Experts (MoE). Суть метода проста: перестать «думать» всей нейросетью над каждой задачей и научить модель активировать ресурсы выборочно. Такое выборочное использование вычислений позволяет наращивать число параметров, не превращая модель в прожорливого монстра. Причем эта идея не новая. Google экспериментировал с ней ещё в 2017-м, потом была пара академических проектов, а дальше технология благополучно канула в небытие. Трансформеры вроде GPT захватили рынок, и про MoE все дружно забыли. Но в последние пару лет MoE резко вернулась: Mixtral и Mistral 3, DeepSeek, DBRX, Qwen, Kimi K2 Thinking. И список громких релизов пополняется чуть ли не ежемесячно. Давайте разбираться, что стоит за этим возвращением и действительно ли МоЕ станет решением всех проблем.

https://habr.com/ru/companies/magnus-tech/articles/977488/

#mixture_of_experts #MoE_архитектура #плотные_и_разреженные_модели #проблемы_MoE_архитектуры #почему_MoE_возвращается #масштабирование_языковых_моделей #MOEнейросети #moe_против_трансформеров #сезон_ии_в_разработке