#kvкеш — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kvкеш, aggregated by home.social.
-
LLM работает не на одной видеокарте: анатомия AI-инфраструктуры 2026
Почему 70B-модель может поместиться в память и всё равно тормозить под нагрузкой? Разбираем AI-инфраструктуру 2026 года по слоям: HBM и KV-кеш, prefill и decode, NVLink и InfiniBand, tensor/pipeline parallelism, MoE, CPU, RAM и NVMe и смотрим, где на практике заканчивается производительность GPU-кластера.
https://habr.com/ru/articles/1089766/
#LLM #GPU #AIинфраструктура #NVIDIA #NVLink #KVкеш #инференс #Mixture_of_Experts #DeepSeekV3 #HB
-
LLM работает не на одной видеокарте: анатомия AI-инфраструктуры 2026
Почему 70B-модель может поместиться в память и всё равно тормозить под нагрузкой? Разбираем AI-инфраструктуру 2026 года по слоям: HBM и KV-кеш, prefill и decode, NVLink и InfiniBand, tensor/pipeline parallelism, MoE, CPU, RAM и NVMe и смотрим, где на практике заканчивается производительность GPU-кластера.
https://habr.com/ru/articles/1089766/
#LLM #GPU #AIинфраструктура #NVIDIA #NVLink #KVкеш #инференс #Mixture_of_Experts #DeepSeekV3 #HB