#gpu_сервер — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #gpu_сервер, aggregated by home.social.
-
Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.
https://habr.com/ru/articles/1032698/
#RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
__аналитика #selfhosted_LLM -
Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.
https://habr.com/ru/articles/1032698/
#RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
__аналитика #selfhosted_LLM -
Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.
https://habr.com/ru/articles/1032698/
#RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
__аналитика #selfhosted_LLM -
Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.
https://habr.com/ru/articles/1032698/
#RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
__аналитика #selfhosted_LLM -
Пишем LLM бенчмарк для GPU-серверов с картами NVIDIA в Ollama
Как мы в HOSTKEY создали собственный LLM-бенчмарк для GPU-серверов с видеокартами NVIDIA в Ollama. Подробно о методике тестирования, коде на bash, результатах и закономерностях производительности.
https://habr.com/ru/companies/hostkey/articles/965666/
#ollama #gpu_сервер #nvidia #llm #deepseek #nvidiasmi #cuda #бенчмаркинг