#lightning_attention — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #lightning_attention, aggregated by home.social.
-
MiniMax-M1: Разбираем архитектуру, ломающую законы масштабирования (и наш VRAM)
В мире LLM доминирует квадратичная сложность, ограничивающая контекст. Но MiniMax-M1 бросает вызов: миллион токенов, низкие затраты. Разбираем гибридную архитектуру с Lightning Attention, новый алгоритм CISPO и инженерные прорывы, делающие эту модель уникальной.
https://habr.com/ru/articles/923588/
#minimaxm1 #LLM_архитектура #Lightning_Attention #mixtureofexperts #масштабирование_LLM