#инференс — Public Fediverse posts

Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)

Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском железе. Сегодня поговорим о том, как моя лаборатория доросла до серверной платформы и двух CMP 50HX с 20 ГБ видеопамяти каждая. С локальными LLM я пока разбираюсь и хочу поделиться тем, что получилось: от покупки карт и неудачного первого запуска до настройки сервера и замеров. Кому интересна такая затея — добро пожаловать под кат.

https://habr.com/ru/companies/X5Tech/articles/1093122/

#linux #gpu #домашний_сервер #proxmox #devops #видеопамять #inference #инференс #llmмодели #cmp_50hx

70 токенов в секунду в qwen3.8-27b на RTX 3090

На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению прямой путь - скачать модель с официального аккаунта qwen на huggingface -> запустить в своем любимом инференс-движке может не привести к хорошему результату, поэтому я решил написать эту статью. План действий такой:

https://habr.com/ru/articles/1092728/

#инференс #rtx3090 #llm #qwen #llamacpp #инференс_моделей #локальный_инференс #qwen38 #qwen3827b