Пространственное внимание на RTX 3050: эксперимент с контекстом 16K
Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?
https://habr.com/ru/articles/1106806/
#машинное_обучение #pytorch #языковые_модели #гибридная_архитектура #llm #длинный_контекст #разреженное_внимание #пространственное_внимание #обучение_на_gpu #spatiallmmini