#qwen25coder — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #qwen25coder, aggregated by home.social.
-
LLM для кодинга и локальный тест открытых моделей на AMD
LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться. В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально? В части туториала: 1. Запустим через docker с помощью llama.cpp. 2. Сделаем замеры скорости генерации. 3. Ускорим за счет спекулятивного декодинга. 4. Подключим в vscode, заставим работать локально и через ssh.
https://habr.com/ru/articles/889310/
#llm_coder #llm #copilot #coding #llm_inference #qwen25coder #sonnet37