home.social

#ttft — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ttft, aggregated by home.social.

fetched live
  1. Habr @[email protected] ·

    Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

    Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же карту влезает больше пользователей. Звучит разумно, но я решил проверить…

    habr.com/ru/articles/1065374/

    #vLLM #KVкеш #префиксное_кеширование #Gated_DeltaNet #гибридные_модели #инференс_LLM #Qwen3 #TTFT #fp8 #llm

    #llm #fp8 #ttft #qwen3 #инференс_llm #гибридные_модели
  2. Habr @[email protected] ·

    Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз

    На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Один из самых частых вопросов от бизнеса: «Сколько и какого железа нужно, чтобы развернуть ИИ-агента у нас на серверах?». В новом on-premise проекте нам нужно было оценить, сколько одновременных диалогов вытянет связка из двух RTX Pro 6000 Blackwell и модели GPT-OSS-120B. Популярный калькулятор пообещал 5000 токенов в секунду, но реальность оказалась в 5 раз медленнее! В статье рассказываю, как правильно считать ресурсы под LLM, почему формулы ломаются на нестандартном железе и как мы устроили хардкорный краш-тест, чтобы дать заказчику железные гарантии.

    habr.com/ru/companies/llmstart

    #llm #ai #gpu #onpremise #agent #performance #tps #ttft #tokens

    #tokens #ttft #tps #performance #agent #onpremise
  3. Hacker News @[email protected] ·

    KVBoost – chunk-level KV cache reuse for HuggingFace, 5–48x faster TTFT

    pythongiant.github.io/KVBoost/

    #HackerNews #KVBoost #HuggingFace #AI #Performance #Optimization #CacheReuse #TTFT

    #hackernews #kvboost #huggingface #ai #performance #optimization
  4. AI Daily Post @[email protected] ·

    NVIDIA’s new co‑design with Sarvam AI slashes time‑to‑first‑token to under a second for LLM inference. By marrying Mixture‑of‑Experts models with GPU acceleration, they boost throughput while trimming latency. This hardware‑software synergy could reshape how we deploy large language models at scale. Read more to see the numbers and tech behind the breakthrough. #NVIDIA #SarvamAI #MixtureOfExperts #TTFT

    🔗 aidailypost.com/news/nvidia-co

    #nvidia #sarvamai #mixtureofexperts #ttft