70 токенов в секунду в qwen3.8-27b на RTX 3090
На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению прямой путь - скачать модель с официального аккаунта qwen на huggingface -> запустить в своем любимом инференс-движке может не привести к хорошему результату, поэтому я решил написать эту статью. План действий такой:
https://habr.com/ru/articles/1092728/
#инференс #rtx3090 #llm #qwen #llamacpp #инференс_моделей #локальный_инференс #qwen38 #qwen3827b