#kvcache — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kvcache, aggregated by home.social.
-
Learn the difference between KV Cache and Prompt Cache, how each speeds up LLM inference, and how developers can improve cache reuse. https://hackernoon.com/prompt-cache-vs-kv-cache-for-llms #kvcache
-
Learn the difference between KV Cache and Prompt Cache, how each speeds up LLM inference, and how developers can improve cache reuse. https://hackernoon.com/prompt-cache-vs-kv-cache-for-llms #kvcache
-
Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация
На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA. Почему инференс LLM дорогой и какие оптимизации помогают его ускорять: fused kernels, FlashAttention, KV-cache и PagedAttention, continuous batching, speculative decoding, квантизация и дистилляция. Много схем и картинок, а также полный список вопросов с собесов в конце.
https://habr.com/ru/articles/1068944/
#LLM #архитектура_LLM #инференс_LLM #ускорение_LLM #оптимизация_LLM #Transformer #FlashAttention #KVcache #квантизация_LLM #Mixture_of_Experts
-
Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru , уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые развивают GenAI, рано или поздно приходят к задачам по запуску LLM на собственном железе. В статье я расскажу, как обстоят дела с движками инференса в 2026 году и как запустить on‑prem-прод и не изобрести при этом велосипед.
-
Походка за двадцать минут и миллион рублей: что RL сделал с двуногими роботами и во что упёрся их «мозг»
За один 2026 год двуногие роботы успели пробежать полумарафон быстрее человеческого рекорда, довести публику до того, что CEO пришлось резать роботу ногу ножницами прямо на сцене, и провалить задачу «пройтись ровно» на презентации за миллионы долларов. Разбираю с первоисточниками, почему походка стала дешёвой инженерией — 20 минут на одной видеокарте, — а «живой» робот упирается в ватты, переполняющийся контекст и отсутствие непрерывного обучения.
https://habr.com/ru/articles/1057816/
#reinforcement_learning #RLлокомоция #гуманоидные_роботы #simtoreal #Isaac_Lab #VLAмодели #PPO #world_models #робототехника #KVcache
-
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите
Каждый из вас, кто работал с Claude или с ChatGPT, смотрел на свои лимиты Или задавался вопросом «Да как один запрос съел 10% от лимита» Я потратил неделю на то, чтобы разобраться в том, а что вообще отображают эти лимиты И на свет появилась третья статья из моей серии «А как вообще работают современные LLM» После этой статьи ты разберёшься, что скрыто за 5-часовым лимитом Claude и других LLM и как на этом можно экономить. А еще — из каких примитивов состоят лимиты и какая физика вычислений за этим стоит Ну а если работаешь с моделями по API, то вообще пушка бомба Осторожно: после прочтения вы не сможете смотреть на полоску лимитов как прежде 🥵 Че там Че там 👀
https://habr.com/ru/articles/1055054/
#LLM #MoE #activeпараметры #KVcache #инференс_LLM #outputтокены #reasoningтокены #VRAM #claude_code #codex
-
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching
В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост , один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. vLLM и paged attention я руками не писал, зато исходники открыты, и я полез в них за байтовой причиной. Что физически лежит на GPU в момент попадания в кэш, как движок управляет этой памятью и почему хватает одного символа, чтобы всё посыпалось.
https://habr.com/ru/articles/1054410/
#prompt_caching #KVcache #prefix_caching #PagedAttention #vLLM #LLM #инференс_LLM #GPU #prefill #оптимизация
-
Контекстное окно: почему нейросеть забывает части разговора
Представьте, что вы разговариваете с невероятно умным и эрудированным собеседником. Только очень странным. Несмотря на весь свой интеллект и тысячи фактов, которые он легко и непринужденно рассказывает, он не может ничего запомнить. Ваш диалог с ним каждый раз как бы начинается заново. Вы даете ему вводные, задаете вопросы, что-то уточняете, а он, на основе всего этого, выдает ответ. Однако, стоит вам задать следующий вопрос, как собеседник напрочь забывает все, о чем вы говорили. И чтобы отвечать более-менее связно, ему приходится сначала перечитать весь ваш диалог. Звучит странно? Возможно. Однако именно так работает большинство современных LLM. А разработчики, пытаясь нивелировать эту особенность, добавляют нейронкам различные обвязки и ухищрения, заметно усложняя логику для рядового пользователя. Чтобы лучше понимать, что происходит, давайте погрузимся в тему. И подробнее познакомимся с такой штукой, как «контекстное окно».
https://habr.com/ru/companies/bothub/articles/1047194/
#контекст #контекстное_окно #LLM #SelfAttention #токен #Lost_in_the_Middle #RAG #KVcache #нейросеть #вектор
-
🤖 Ah, the age-old question: Can I buy your KV cache? Because nothing says cutting-edge research like soliciting for key-value storage with the enthusiasm of a telemarketer. 📞 It's like a dating app for databases, but without the personality. 💾💔
https://arxiv.org/abs/2606.13361 #KVcache #Telemarketing #DatabaseResearch #TechHumor #DataStorage #HackerNews #ngated -
🤖 Ah, the age-old question: Can I buy your KV cache? Because nothing says cutting-edge research like soliciting for key-value storage with the enthusiasm of a telemarketer. 📞 It's like a dating app for databases, but without the personality. 💾💔
https://arxiv.org/abs/2606.13361 #KVcache #Telemarketing #DatabaseResearch #TechHumor #DataStorage #HackerNews #ngated -
Silicon Motion says AI PCs need a new kind of SSD controller
https://fed.brid.gy/r/https://nerds.xyz/2026/05/silicon-motion-ai-pc-ssd-controller/
-
Silicon Motion says AI PCs need a new kind of SSD controller
https://web.brid.gy/r/https://nerds.xyz/2026/05/silicon-motion-ai-pc-ssd-controller/
-
Prefix Persistence Unveiled in LLM KV Cache Dynamics
Learn how LLM KV cache prefixes remain unchanged, with masking used to manage them. This helps speed up AI responses.
#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews
https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/
-
Prefix Persistence Unveiled in LLM KV Cache Dynamics
Learn how LLM KV cache prefixes remain unchanged, with masking used to manage them. This helps speed up AI responses.
#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews
https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/
-
LLM KV cache prefixes are now understood to be fixed, not changed. Masking is used instead, which could lead to up to 65% faster AI responses.
#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews
https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/ -
LLM KV cache prefixes are now understood to be fixed, not changed. Masking is used instead, which could lead to up to 65% faster AI responses.
#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews
https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/ -
🚀 Wow, groundbreaking insight: KV Cache is the new "memory hierarchy" of inference! 🤔 Because, you know, we needed another reason to marvel at JavaScript's infinite wisdom in making web pages less user-friendly. 🎉 Thanks, Touchdown Labs, for this revelation—my cache is now full of sarcasm.
https://touchdown-labs.com/blog/kv-cache-memory-hierarchy-inference.html #KVCache #MemoryHierarchy #JavaScript #TouchdownLabs #WebDevelopment #HackerNews #ngated -
KV Cache Is Becoming the Memory Hierarchy of Inference
https://touchdown-labs.com/blog/kv-cache-memory-hierarchy-inference.html
#HackerNews #KVCache #MemoryHierarchy #Inference #AIInference #TechTrends #MachineLearning
-
KV Cache Compression 900000x Beyond TurboQuant and Per-Vector Shannon Limit
https://arxiv.org/abs/2604.15356
#HackerNews #KVCache #Compression #TurboQuant #ShannonLimit #DataCompression
-
From 300KB to 69KB per Token: How LLM Architectures Solve the KV Cache Problem
https://news.future-shock.ai/the-weight-of-remembering/
#HackerNews #LLMarchitectures #KVcache #AIoptimization #technews
-
The key takeaway isn’t just compression—it’s where the bottleneck shifts. KV cache has been dominating memory footprint in long-context inference, so reducing it changes the cost structure significantly. But it doesn’t remove the constraint entirely.
#AI #ArtificialIntelligence #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #LLMInference #AIInfrastructure #MemoryBottleneck #ModelEfficiency #AIHardware #DataCenter
-
The key takeaway isn’t just compression—it’s where the bottleneck shifts. KV cache has been dominating memory footprint in long-context inference, so reducing it changes the cost structure significantly. But it doesn’t remove the constraint entirely:
https://www.buysellram.com/blog/will-googles-turboquant-ai-compression-finally-demolish-the-ai-memory-wall/#AI #ArtificialIntelligence #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #LLMInference #AIInfrastructure #MemoryBottleneck #ModelEfficiency #AIHardware #DataCenter #technology
-
The AI world is buzzing over TurboQuant, Google Research’s new answer to the AI Memory Wall. This isn't just an incremental update; it’s a fundamental shift in how we think about hardware efficiency.
By combining two new methods—PolarQuant and QJL—Google has managed to compress the Key-Value (KV) cache by 6x with zero accuracy loss. For those running H100s, this translates to an 8x speedup in attention processing.
Why it matters:
Beyond Brute Force: Much like DeepSeek-R1, Google is proving that high-level math can bypass the need for endless HBM expansion.
The "Memory Wall" Pivot: TurboQuant moves the bottleneck from memory bandwidth to compute, effectively "stretching" the life of existing silicon.
The Jevons Paradox: History shows that when we make a resource (memory) 6x more efficient, we don't use less of it—we build models 10x larger.
Is this the end of the global DRAM shortage, or just the beginning of a much larger scaling era?
#AI #ArtificialIntelligence #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #LLMInference #AIInfrastructure #MemoryBottleneck #ModelEfficiency #AIHardware #DataCenter #deepseek #technology
-
Google’s TurboQuant is being positioned as a breakthrough that could finally break the AI “memory wall”—but the reality is more nuanced.
In this analysis, we explore how TurboQuant achieves up to 6× memory reduction and 8× performance gains by compressing KV cache during inference, enabling more efficient use of existing GPUs like A100 and H100.
The upside is clear: lower infrastructure costs, extended hardware lifecycles, and the potential to run long-context AI workloads on more affordable systems. However, compression is not a silver bullet. The compute overhead of decompression, the persistent weight memory requirements, and the long-term effects of the Jevons Paradox suggest that demand for high-performance hardware is far from over.
#AI #ArtificialIntelligence #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #LLMInference #AIInfrastructure #MemoryBottleneck #ModelEfficiency #AIHardware #DataCenter #tech
-
Google’s TurboQuant is being positioned as a breakthrough that could finally break the AI “memory wall”—but the reality is more nuanced.
In this analysis, we explore how TurboQuant achieves up to 6× memory reduction and 8× performance gains by compressing KV cache during inference, enabling more efficient use of existing GPUs like A100 and H100.
https://www.buysellram.com/blog/will-googles-turboquant-ai-compression-finally-demolish-the-ai-memory-wall/#AI #TurboQuant #Google #AIMemoryWall #AICompression #KVCache #ModelEfficiency #AIHardware #DataCenter #technology
