home.social

#kvcache — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kvcache, aggregated by home.social.

fetched live
  1. SK Hynix Unveils ‘Memory Pool’ Concept to Break Through GPU Wall, Co-Designed With Intel — BigGo Finance

    South Korea’s SK Hynix has put front and center a so-called “memory pool” architecture in which multiple servers…
    #EuropeSays #Korea #KR #SKHynix #agenticAI #CXL #Intel #IntelAISummitSeoul2026 #JooYoung-pyo #KVCache #LGElectronics #memorypool #RDMA #SK #SKhynix
    europesays.com/korea/226290/

  2. 🐢💨 Tech geniuses at #Cloudflare just discovered that the GLM-5.3 Workers #AI has been carelessly airing out its dirty laundry (aka KV cache) for all to see. But don't worry, they're on it with their make-believe magic spell, #SGLang. 🔮✨ Meanwhile, we question if they can even spell "Security". 😂
    blog.cloudflare.com/kv-cache-e #TechNews #Security #KVcache #HackerNews #ngated

  3. Naver’s D2SF Invests in South Korean On-Device AI Startup TraceWeave, Targeting the Memory Bottleneck — BigGo Finance

    D2SF, the startup investment arm of South Korea’s Naver, has made a new investment in South Korean on-device…
    #EuropeSays #Korea #KR #Naver #D2SF #ETHZurich #KAIST #KVCache #MiraeAssetCapital #Nota #Phase-TITAN #TraceWeave #YangSang-hwan
    europesays.com/korea/196672/

  4. Влияние транспорта KV-переноса на производительность PD-disaggregation на примере инференса MiniMax-M3

    Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на производительность и работоспособность disaggregated inference, в котором стадии prefill и decode выполняются на разных GPU-узлах. На кластере из двух узлов с восемью NVIDIA B200 на каждом сравниваются RDMA/InfiniBand с GPUDirect и TCP/Ethernet в инференсе MiniMax-M3 через sglang. Эксперимент включает четыре уровня наблюдения: потолок фабрики ( L0 ), изолированный microbenchmark transfer engine ( L0b ), фактический маршрут трафика по счётчикам портов ( L1 ) и end-to-end метрики движка и запросов ( L2/L3 ). Всего проанализировано 268 прогонов.

    habr.com/ru/articles/1094076/

    #tcp #infiniband #rdma #llm_inference #sglang #kvcache #ttft #minimaxm3 #pddisaggregation #gpudirect

  5. «Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24

    В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять ресурсы между пиками и как проверить, что очередная оптимизация не испортила ответы. На Saint HighLoad++ я разбирал эти задачи, постепенно достраивая схему платформы. В статье сделаем так же.

    habr.com/ru/companies/bitrix/a

    #selfhosted #инференс #llm #aiагенты #llmops #kvcache #aiплатформа #prefix_cache

  6. RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

    В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду результаты почти совпали: 0,52 у обычного round-robin и 0,49 у маршрутизации с учётом префиксов. Но p95 времени до первого токена различался в 2,7 раза: 745 мс у round-robin против 272 мс у prefix-aware routing. GPU, модель и нагрузка в обоих прогонах были одинаковыми, менялся только способ выбора реплики. Счётчик RPS этого не показывает: он учитывает обращения, но не работу, которую под выполняет для конкретного запроса. Если нужный префикс уже лежит в KV-cache, модель начинает генерацию быстрее. Если запрос попадает в соседнюю реплику без этого состояния, ей приходится заново считать всю голову запроса. Этот разбор посвящён выбору реплики для self-hosted LLM-инференса в Kubernetes. Он пригодится инженерам, которые запускают модели на нескольких GPU, и владельцам платформ, оценивающим нагрузку по загрузке карт и числу запросов. Для контуров с одной репликой вопрос маршрутизации не возникает; порог применимости разобран отдельно. Все примеры основаны на публичных замерах разных команд. Я рассматриваю задачу со стороны инфраструктуры: как маршрутизация влияет на использование GPU, задержки и требования к Kubernetes-контуру. VK Tech предоставляет GPU-ноды и vGPU для развёртывания таких систем.

    habr.com/ru/companies/vktech/a

    #vk_cloud #kubernetes #облако #vk_tech #LLMинференс #KVcache #маршрутизация_запросов #prefixaware_routing #GPU #vLLM

  7. Механизмы внимания в современных LLM

    Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse attention, linear/recurrent подходы и гибридные архитектуры вроде Qwen3.8 и DeepSeek. Смотрим, что происходит с KV‑cache, почему длинный контекст так дорого обходится и как современные модели пытаются совместить качество retrieval с быстрым inference.

    habr.com/ru/articles/1090978/

    #LLM #attention #GQA #MLA #sparse_attention #linear_attention #KVcache #Qwen #DeepSeek #inference

  8. AI Inference Reshapes Storage Landscape: NAND Goes from “Supporting Role” to “Must-Have” as Data Center Demand Overtakes Smartphones for the First Time

    The AI explosion is rewriting the underlying logic of the NAND flash industry. Long treated as a “commodity”…
    #EuropeSays #Korea #KR #SKHynix #HBF #HBM #kioxia #KVCache #NAND #NVIDIA #Samsung #sandisk #SK #SKhynix #TSMC
    europesays.com/korea/172601/

  9. #Deepseek’s new AI model, V4.1-Flash, significantly reduces memory requirements for #AIagents by shrinking the #KVcache, a buffer that holds processed context data. This is achieved through techniques like splitting the model into encoder and decoder halves, and storing the main KV cache in FP4 instead of FP8. While the model performs well on coding tasks, it still struggles with complex scientific tasks and image analysis. the-decoder.com/new-deepseek-m #tech #news #ainews

  10. DeepSeek Unveils AI at $0.15 Per Token; Sharp Reduction in HBM and SSD Usage Rattles Semiconductor Stocks — BigGo Finance

    Chinese AI startup DeepSeek has triggered concerns about slowing AI semiconductor demand with the launch of a new…
    #EuropeSays #Korea #KR #SKHynix #Anthropic #ArtificialAnalysis #DeepSeek #HBM #KVCache #MicronTechnology #Moonshot #OpenAI #SamsungElectronics #SK #SKhynix #V4.1Flash
    europesays.com/korea/151197/

  11. Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

    Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

    habr.com/ru/articles/1080970/

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

  12. Контекст растёт, KV-кэш — нет: Qwen3.8-27B на ограниченной VRAM с CMF формате

    Qwen3.8-27B в Q4TP занимает около 14,3 GB весов, но при длинном контексте упирается ещё и в KV-кэш. Для 16 full-attention слоёв этой гибридной модели FP16 KV-state растёт на 65 536 байт с каждым токеном: на 64K это около 4 ГиБ только для K/V. В экспериментальном режиме O(1) рантайм CMF заменяет растущий KV-кэш этих 16 слоёв фиксированным состоянием: четыре sink-токена, точное окно последних 128 токенов и 32 опорных представлений для дальней части. В использованном профиле GPU-state attention составляет 44,1 МиБ, и не увеличивается с длиной контекста.

    habr.com/ru/articles/1080216/

    #llm #qwen38 #kvcache #kvкэш #оптимизация #оптимизация_кода #cmf #cmf_формат

  13. Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же

    Наивная формула «веса + KV < VRAM» промахивается по двум причинам, и обе стоят денег. Первая: движок (vLLM, SGLang, TensorRT-LLM) резервирует почти всю память под свой пул ещё до того, как вы посчитали KV — поэтому ответ «сколько запросов влезет» всегда мимо, в сторону «влезет», а потом OOM под нагрузкой. Вторая, которую в уме не посчитать: на DeepSeek-V2-Lite обычная формула завышает KV в 7–11 раз, и промах уже в обратную сторону — зря откажетесь ставить модель. Я прогнал топ VRAM-калькуляторов из выдачи Google, показал на скриншотах, где ломается каждый (даже лучший), сверил числа с живым vLLM на A100/H100 — расхождение ~1% — и собрал ridgepoint: калькулятор, который считает как движок, а не как учебник. Ставится локально ( pip install ridgepoint ), GPU не нужен. Сколько реально влезет

    habr.com/ru/articles/1079788/

    #llm #inference #vllm #vram #kvcache #gpu #machine_learning #python #rust #sglang

Share on Mastodon

Enter the server where you have an account.