home.social
Sign in Create account

#prefix_caching — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #prefix_caching, aggregated by home.social.

  1. Habr @[email protected] ·

    Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

    32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов.

    habr.com/ru/companies/bitrix/a

    #llmагент #prefix_caching #токены #aiагенты #ai #prompt_caching #promptengineering #contextengineering

    #contextengineering #promptengineering #prompt_caching #ai #aiагенты #токены
  2. Habr @[email protected] ·

    Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

    32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов.

    habr.com/ru/companies/bitrix/a

    #llmагент #prefix_caching #токены #aiагенты #ai #prompt_caching #promptengineering #contextengineering

    #contextengineering #promptengineering #prompt_caching #ai #aiагенты #токены
  3. Habr @[email protected] ·

    Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

    32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов.

    habr.com/ru/companies/bitrix/a

    #llmагент #prefix_caching #токены #aiагенты #ai #prompt_caching #promptengineering #contextengineering

    #contextengineering #promptengineering #prompt_caching #ai #aiагенты #токены
  4. Habr @[email protected] ·

    Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

    32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов.

    habr.com/ru/companies/bitrix/a

    #llmагент #prefix_caching #токены #aiагенты #ai #prompt_caching #promptengineering #contextengineering

    #llmагент #prefix_caching #токены #aiагенты #ai #prompt_caching