#hashhop — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #hashhop, aggregated by home.social.
-
Новый метод оценки HashHop вместо “иголка в стоге сена”, RULER и 100 млн. токенов контекста
LLM с новым алгоритмом внимания в контекстное окно которой помещается весь проект с библиотеками и документацией, И почему пока звучит неубедительно все, кроме $465 млн. инвестиций. На днях стартап Magic анонсировал новую LLM модель с контекстым окном в 100 млн. токенов как многообещающий прорыв в области разработки ПО. Во-первых из-за гигантского контекстного окна, в которое буквально можно запихнуть целиком со всеми библиотеками и документацией весь проект (10 млн. строчек кода), а во вторых из-за нового механизма внимания, который позволяет модели действительно работать со всем этим контекстом. Рассмотрим насколько это инновационно и что можно понять из анонса Magic. (Спойлер - HashHop простой и логичный механизм, но как это все работает и работает ли понять пока невозможно).