home.social

#стоимость_llm — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #стоимость_llm, aggregated by home.social.

  1. Habr @[email protected] ·

    Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

    При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой модели. В основе этой проблемы лежит KV-cache. Пример : у LLaMA 2 7B веса занимают около 14 ГБ, но при контексте 8K токенов KV-cache весит уже примерно 4 ГБ. Всего при четырех параллельных запросах это около 16 ГБ. Это и есть скрытая цена инференса, которая не так очевидна на первый взгляд.

    habr.com/ru/companies/ru_mts/a

    #LLM #KVcache #инференс_LLM #стоимость_LLM #оптимизация_инференса

    #оптимизация_инференса #стоимость_llm #инференс_llm #kvcache #llm
  2. Habr @[email protected] ·

    Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

    При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой модели. В основе этой проблемы лежит KV-cache. Пример : у LLaMA 2 7B веса занимают около 14 ГБ, но при контексте 8K токенов KV-cache весит уже примерно 4 ГБ. Всего при четырех параллельных запросах это около 16 ГБ. Это и есть скрытая цена инференса, которая не так очевидна на первый взгляд.

    habr.com/ru/companies/ru_mts/a

    #LLM #KVcache #инференс_LLM #стоимость_LLM #оптимизация_инференса

    #оптимизация_инференса #стоимость_llm #инференс_llm #kvcache #llm
  3. Habr @[email protected] ·

    Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

    При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой модели. В основе этой проблемы лежит KV-cache. Пример : у LLaMA 2 7B веса занимают около 14 ГБ, но при контексте 8K токенов KV-cache весит уже примерно 4 ГБ. Всего при четырех параллельных запросах это около 16 ГБ. Это и есть скрытая цена инференса, которая не так очевидна на первый взгляд.

    habr.com/ru/companies/ru_mts/a

    #LLM #KVcache #инференс_LLM #стоимость_LLM #оптимизация_инференса

    #оптимизация_инференса #стоимость_llm #инференс_llm #kvcache #llm
  4. Habr @[email protected] ·

    Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

    При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой модели. В основе этой проблемы лежит KV-cache. Пример : у LLaMA 2 7B веса занимают около 14 ГБ, но при контексте 8K токенов KV-cache весит уже примерно 4 ГБ. Всего при четырех параллельных запросах это около 16 ГБ. Это и есть скрытая цена инференса, которая не так очевидна на первый взгляд.

    habr.com/ru/companies/ru_mts/a

    #LLM #KVcache #инференс_LLM #стоимость_LLM #оптимизация_инференса

    #llm #kvcache #инференс_llm #стоимость_llm #оптимизация_инференса