home.social

#llm_inference — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #llm_inference, aggregated by home.social.

  1. Habr @[email protected] ·

    DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user

    Подняли DeepSeek‑V4‑Flash на двух GB10, упёрлись в потолок consumer Blackwell, прошли три тупика со спекулятивным декодингом — и в итоге получили параллельную работу ресёрч-агента и длинной генерации без очереди. Цифры из Grafana.

    habr.com/ru/articles/1050470/

    #dgx_spark #vllm #deepseekv4 #gb10 #tensor_parallel #AGmind #llm_inference #спекулятивный_декодинг

    #спекулятивный_декодинг #llm_inference #agmind #tensor_parallel #gb10 #deepseekv4
  2. Habr @[email protected] ·

    DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user

    Подняли DeepSeek‑V4‑Flash на двух GB10, упёрлись в потолок consumer Blackwell, прошли три тупика со спекулятивным декодингом — и в итоге получили параллельную работу ресёрч-агента и длинной генерации без очереди. Цифры из Grafana.

    habr.com/ru/articles/1050470/

    #dgx_spark #vllm #deepseekv4 #gb10 #tensor_parallel #AGmind #llm_inference #спекулятивный_декодинг

    #спекулятивный_декодинг #llm_inference #agmind #tensor_parallel #gb10 #deepseekv4
  3. Habr @[email protected] ·

    DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user

    Подняли DeepSeek‑V4‑Flash на двух GB10, упёрлись в потолок consumer Blackwell, прошли три тупика со спекулятивным декодингом — и в итоге получили параллельную работу ресёрч-агента и длинной генерации без очереди. Цифры из Grafana.

    habr.com/ru/articles/1050470/

    #dgx_spark #vllm #deepseekv4 #gb10 #tensor_parallel #AGmind #llm_inference #спекулятивный_декодинг

    #dgx_spark #vllm #deepseekv4 #gb10 #tensor_parallel #agmind
  4. Habr @[email protected] ·

    Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

    Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.

    habr.com/ru/articles/1032698/

    #RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
    __аналитика #selfhosted_LLM

    #selfhosted_llm #речевая____ #gpu_сервер #llm_inference #водяное_охлаждение #локальный_ии_сервер
  5. Habr @[email protected] ·

    Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

    Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.

    habr.com/ru/articles/1032698/

    #RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
    __аналитика #selfhosted_LLM

    #selfhosted_llm #речевая____ #gpu_сервер #llm_inference #водяное_охлаждение #локальный_ии_сервер
  6. Habr @[email protected] ·

    Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

    Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о том, как мы собрали махину в 96 GB VRAM. Внутри - полная сборка и бенчмарки популярных моделей.

    habr.com/ru/articles/1032698/

    #RTX_4090 #vLLM #onpremise #локальный_AI_сервер #локальный_ИИ_сервер #водяное_охлаждение #LLM_inference #GPU_сервер #речевая____
    __аналитика #selfhosted_LLM

    #rtx_4090 #vllm #onpremise #локальный_ai_сервер #локальный_ии_сервер #водяное_охлаждение