#спекулятивный_декодинг — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #спекулятивный_декодинг, aggregated by home.social.
-
Повторяй промт дважды — и нейросеть станет умнее. Это реально работает
Ещё раз: повторяй свой промт дважды (и даже трижды) — и нейросеть станет умнее. Это реально работает!
https://habr.com/ru/articles/1000918/
#google_research #reasoning_models #спекулятивный_декодинг #промптинжиниринг #промпты
-
Алгоритмы спекулятивного инференса LLM
За последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов. Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.
https://habr.com/ru/articles/871704/
#инференс #спекулятивный_декодинг #llm #оптимизация_инференса #алгоритмическая_оптимизация #ml #DL #ML_алгоритмы #DL_инференс