#gguf — Public Fediverse posts

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

https://habr.com/ru/articles/1080970/

#локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

@LwVe9 You know if there’s an abliterated/uncensored version that runs on #GGUF?

#LFM #AI #LLM

Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора

Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть

https://habr.com/ru/articles/987240/

#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP

Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора

Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть

https://habr.com/ru/articles/987240/

#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP

Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора

Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть

https://habr.com/ru/articles/987240/

#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP