#cache_control — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #cache_control, aggregated by home.social.
-
Сломанный кэш выглядит как рабочий: prompt caching для тех, кто строит LLM-агентов
Кэш режет цену входных токенов в десять раз и держит юнит-экономику агентов, но ломается без единой ошибки в логах. Что на самом деле кэшируется, чем отличаются OpenAI, Anthropic и Google и как собрать промпт, который не убивает собственный кэш.
https://habr.com/ru/articles/1048810/
#prompt_caching #KV_cache #кэширование_контекста #LLMагенты #cache_control #Gemini_context_caching #cache_hit_rate #кэширование_промптов #промпткэш