#context_rot — Public Fediverse posts

Почему нейросети съедают токены: что происходит с длинными чатами и как снизить расход

Один пользователь Claude утверждает, что прогнал через модель больше миллиарда входных токенов. Другой оставил AI-агента без присмотра и насчитал около $6000 расходов. Цифры из Reddit можно оспаривать, но механизм за ними вполне реальный. Я посмотрел, почему короткий запрос внутри длинного чата может оказаться совсем не коротким для LLM, что происходит, когда контекст разрастается до сотен тысяч токенов, зачем нужен prompt caching и почему большое контекстное окно иногда делает ответы не лучше, а хуже. А заодно собрал несколько способов снизить расход токенов без бессмысленной охоты за каждым словом в промпте. Разобраться с токенами

https://habr.com/ru/companies/syntx_ai/articles/1069310/

#LLM #токены #контекстное_окно #Claude #ChatGPT #context_rot #prompt_caching #AIагенты #context_engineering #расход_токенов

Как я прошёл путь от «сам быстрее напишу» до своего фреймворка для агентной разработки

Когда я пытался делегировать ИИ-агентам написание кода для рабочих задач, то быстро наступил на все возможные грабли. В итоге на ревью и исправление ошибок уходило больше времени, чем ушло бы на самостоятельную разработку. Чтобы не отказываться от ИИ-помощников, нужно менять сам подход к взаимодействию с ними. В статье я разбираю механику основных проблем — деградации контекста ( Context Rot ), отсутствия долгосрочной памяти и неконтролируемой генерации кода. А также такой подход как spec-driven development . А заодно показываю, как решал эти боли с помощью Vibe-skills — своего минималистичного набора правил и промптов. Рассказываю, как заставить агента (на примере Claude Code) работать строго по спецификациям, использовать TDD и всегда оставлять финальное решение за человеком.

https://habr.com/ru/articles/1044322/

#claude_code #spec_driven_development #superpowers #context_rot #tdd #vibecoding #vibecoding #aiагенты #ииагенты #llm

Тайная слабость нейросетей: почему большие контекстные окна не работают

Крупнейшие ИИ-вендоры ведут агрессивную гонку контекстных окон: 128K токенов стали минимально необходимым стандартом, а некоторые модели заявляют и о поддержке миллионов. Многие из нас привыкли верить, что «Effective Context Window» — это монолитное пространство, где модель одинаково хорошо видит каждое слово. Однако свежее исследование доказывает обратное: внутри огромных файлов скрывается «слепая зона» . Модели могут блестяще рассуждать о начале или о конце документа, но их логика буквально рассыпается, если суть задачи находится в середине . И речь идёт не о привычной проблеме поиска фактов, которую мы знали по тестам «Иголка в стоге сена», а о фундаментальном коллапсе рассуждений ( reasoning ). Проблемы с поиском фактов известны ещё с 2023 года — но на логике «гниль контекста» системно показали впервые . Почему ИИ страдает избирательной амнезией и как учёные вывели современные модели на чистую воду? Разберём четыре главных инсайта , которые нам даёт это исследование.

https://habr.com/ru/articles/1041926/

#ИИ #AI #LLM #эксперимент #промптинжиниринг #промпты #контекстная_гниль #context_rot #lost_in_the_middle #reasoning

[Перевод] Когда, зачем и как правильно начинать новую сессию в Claude Code?

То, как вы управляете сессиями, контекстом и компактизацией в Claude Code, влияет на результат сильнее, чем кажется. Мы выпустили /usage — новую slash-команду, которая помогает отслеживать использование Claude Code. Эта функция появилась после серии разговоров с пользователями. В этих разговорах раз за разом всплывала одна тема: огромный разброс в том, как люди управляют сессиями — особенно после увеличения контекстного окна до 1 миллиона токенов. Держать одну или две долгосрочные сессии в терминале? Начинать новую с каждым промптом? Когда использовать compact , rewind или subagents ? Что приводит к плохой компактизации или плохой сессии? Всё это неожиданно сильно влияет на опыт работы с Claude Code , и почти всё сводится к управлению контекстным окном .

https://habr.com/ru/articles/1024038/

#Claude_Code #контекстное_окно #управление_сессиями #context_rot #compaction #rewind #subagents #AIагенты #LLMинструменты #Anthropic

Here is todays lesson about #anthropic #Claude #context_rot

When you see it "Compacting... so we can continue the chat". What it is doing is culling your #content. Allegedly its meant to be 200,000 tokens. The purging will mean content you ASSUME would be current is just black holed.

If you really want something to stay, push it into the Project BOK.

Навыки агентов (Agent Skills): что это такое и почему это больше, чем «папка с промптами»

Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24. Сегодня поговорим о новой практике упаковки знаний для LLM - Agent Skills. Разберем само понятие «навыков агентов» и проблемы, которые они решают, рассмотрим архитектуру и взаимосвязь с Tools, RAG и MCP. TL;DR: Agent Skills – это переносимые модули процедурной памяти (инструкции + критерии + ресурсы), которые агент подгружает по мере необходимости. Они решают проблему «впихнуть невпихуемое» в контекст и устраняют prompt sprawl (разрастание промптов): процесс превращается в версионируемый артефакт (папку с кодом и Markdown). В отличие от Retrieval-Augmented Generation (RAG), который приносит факты, и Tools (инструментов), которые дают действия, Skill задаёт алгоритм – как именно действовать .

https://habr.com/ru/companies/bitrix/articles/980654/

#agent_skills #навыки_агентов #архитектура_LLMагентов #LLMагенты #context_rot #skill #ai