#llm_inference — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #llm_inference, aggregated by home.social.
-
Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.
https://habr.com/ru/articles/1032698/
#RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
__аналитика #selfhosted_LLM