home.social

#pddisaggregation — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #pddisaggregation, aggregated by home.social.

fetched live
  1. Влияние транспорта KV-переноса на производительность PD-disaggregation на примере инференса MiniMax-M3

    Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на производительность и работоспособность disaggregated inference, в котором стадии prefill и decode выполняются на разных GPU-узлах. На кластере из двух узлов с восемью NVIDIA B200 на каждом сравниваются RDMA/InfiniBand с GPUDirect и TCP/Ethernet в инференсе MiniMax-M3 через sglang. Эксперимент включает четыре уровня наблюдения: потолок фабрики ( L0 ), изолированный microbenchmark transfer engine ( L0b ), фактический маршрут трафика по счётчикам портов ( L1 ) и end-to-end метрики движка и запросов ( L2/L3 ). Всего проанализировано 268 прогонов.

    habr.com/ru/articles/1094076/

    #tcp #infiniband #rdma #llm_inference #sglang #kvcache #ttft #minimaxm3 #pddisaggregation #gpudirect

  2. Ah, the future! When humanity finally discovers the complexity of running some obscure alphabet soup on 96 H100 #GPUs just to say, “Look, Ma, no hands!” 🚀🤖 Apparently, the secret sauce is called "PD Disaggregation" and "LargeScale Expert Parallelism" – because why not? Surely, no one will ever just call it "overkill". 😂
    lmsys.org/blog/2025-05-05-larg #future #technology #AI #PDDisaggregation #LargeScaleExpertParallelism #HackerNews #ngated

Share on Mastodon

Enter the server where you have an account.