#контекстное_окно — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #контекстное_окно, aggregated by home.social.
-
Больше контекста — хуже результат
После статьи про Cursor и сжатие контекста я получил много комментариев. В коментах спорят: виноват компактинг? Или attention dilution? Или модель просто ослушалась? Или проблема вообще не в контексте, а в alignment? Спор хороший, но он показывает фундаментальную проблему: у инженеров нет общей картины того, как LLM работают с контекстом. Мы видим симптомы (агент удалил базу, модель галлюцинирует, точность падает на длинной сессии), но не понимаем механизмы. Попробуем собрать эту картинку Бооольше нейрослопа :)
https://habr.com/ru/articles/1031340/
#почему_LLM_галлюцинирует #как_работает_ChainofThought #проблема_длинного_контекста #почему_AIагенты_тупят #сокращение_промпта #контекстное_окно #GPT55_промпты #Claude_Opus_47_гайд
-
[Перевод] Практическое руководство по инжинирингу контекста для AI-ассистентов
Каждая новая сессия с AI-ассистентом для разработки обнуляет накопленный контекст: инструменты мощные, но по своей природе «забывчивые». В итоге мы снова и снова проговариваем стек, соглашения и ограничения, тратя время на восстановление того, что уже было известно вчера. В статье разберемся, как превратить это слабое место в управляемый ресурс: от простых файлов правил до полноценных слоёв памяти и инфраструктуры, которые позволяют ассистенту работать с учётом накопленного опыта.
https://habr.com/ru/companies/otus/articles/1028442/
#LLM #инжиниринг_контекста #память_AI #контекстное_окно #rag #промптинжиниринг #LLMинженер #векторные_базы_данных #AIассистенты
-
[Перевод] Практическое руководство по инжинирингу контекста для AI-ассистентов
Каждая новая сессия с AI-ассистентом для разработки обнуляет накопленный контекст: инструменты мощные, но по своей природе «забывчивые». В итоге мы снова и снова проговариваем стек, соглашения и ограничения, тратя время на восстановление того, что уже было известно вчера. В статье разберемся, как превратить это слабое место в управляемый ресурс: от простых файлов правил до полноценных слоёв памяти и инфраструктуры, которые позволяют ассистенту работать с учётом накопленного опыта.
https://habr.com/ru/companies/otus/articles/1028442/
#LLM #инжиниринг_контекста #память_AI #контекстное_окно #rag #промптинжиниринг #LLMинженер #векторные_базы_данных #AIассистенты
-
[Перевод] Практическое руководство по инжинирингу контекста для AI-ассистентов
Каждая новая сессия с AI-ассистентом для разработки обнуляет накопленный контекст: инструменты мощные, но по своей природе «забывчивые». В итоге мы снова и снова проговариваем стек, соглашения и ограничения, тратя время на восстановление того, что уже было известно вчера. В статье разберемся, как превратить это слабое место в управляемый ресурс: от простых файлов правил до полноценных слоёв памяти и инфраструктуры, которые позволяют ассистенту работать с учётом накопленного опыта.
https://habr.com/ru/companies/otus/articles/1028442/
#LLM #инжиниринг_контекста #память_AI #контекстное_окно #rag #промптинжиниринг #LLMинженер #векторные_базы_данных #AIассистенты
-
[Перевод] Практическое руководство по инжинирингу контекста для AI-ассистентов
Каждая новая сессия с AI-ассистентом для разработки обнуляет накопленный контекст: инструменты мощные, но по своей природе «забывчивые». В итоге мы снова и снова проговариваем стек, соглашения и ограничения, тратя время на восстановление того, что уже было известно вчера. В статье разберемся, как превратить это слабое место в управляемый ресурс: от простых файлов правил до полноценных слоёв памяти и инфраструктуры, которые позволяют ассистенту работать с учётом накопленного опыта.
https://habr.com/ru/companies/otus/articles/1028442/
#LLM #инжиниринг_контекста #память_AI #контекстное_окно #rag #промптинжиниринг #LLMинженер #векторные_базы_данных #AIассистенты
-
От написания промптов к проектированию контекста. Или один очень обширный материал по Context Engineering
Промпт инжиниринг в том виде, в котором он был популярен в 2025 уже мёртв. В современных агентных инструментах, таких как Claude Code, Codex и упасибогCursor = ваш текст это ~0,03% контекста. Все остальное — это system prompt, CLAUDE.md , память, MCP, skills, история, tool results. И созданы они, чтобы съедать ваши лимиты и тратить ваши деньги 😈 Че там Че там 👀
https://habr.com/ru/articles/1028260/
#ai #вайбпрограммирование #вайбкодинг #разработка #искусственный_интеллект #ии #ииагенты #ииассистент #иимодель #контекстное_окно
-
Зачем AI-ассистенту пирамида тестирования, или Как скормить слона нейросети по кусочкам
Привет! Это снова Михаил Федоров. В первой статье я рассказал про архитектуру QA Assist — системы из 11 AI-агентов для автоматизации тестирования. Во второй — честно показал, как «4 часа подключения» превращаются в неделю корпоративной реальности. Сегодня поговорим о штуке, которая на первый взгляд не имеет отношения к AI. О пирамиде тестирования. О том, почему классическая теория QA внезапно оказывается критически важной, когда вашим тест-дизайнером становится языковая модель с контекстным окном.
-
[Перевод] Когда, зачем и как правильно начинать новую сессию в Claude Code?
То, как вы управляете сессиями, контекстом и компактизацией в Claude Code, влияет на результат сильнее, чем кажется. Мы выпустили /usage — новую slash-команду, которая помогает отслеживать использование Claude Code. Эта функция появилась после серии разговоров с пользователями. В этих разговорах раз за разом всплывала одна тема: огромный разброс в том, как люди управляют сессиями — особенно после увеличения контекстного окна до 1 миллиона токенов. Держать одну или две долгосрочные сессии в терминале? Начинать новую с каждым промптом? Когда использовать compact , rewind или subagents ? Что приводит к плохой компактизации или плохой сессии? Всё это неожиданно сильно влияет на опыт работы с Claude Code , и почти всё сводится к управлению контекстным окном .
https://habr.com/ru/articles/1024038/
#Claude_Code #контекстное_окно #управление_сессиями #context_rot #compaction #rewind #subagents #AIагенты #LLMинструменты #Anthropic
-
MCP не умер: почему ИИ-агенты тонут в контексте
Еще недавно казалось, что MCP решит главную проблему ИИ-агентов: даст единый способ подключать инструменты, данные и внешние системы. Но быстро выяснилось, что если дать модели все сразу, она не становится умнее - она теряет фокус. В статье разбираю, почему ИИ-агенты тонут в контексте, и какие подходы помогают это исправить.
https://habr.com/ru/articles/1019866/
#mcp #искусственный_интеллект #нейросети #model_context_protocol #ии_агенты #контекстное_окно #автоматизация #agent_skills #api #архитектура
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
Разбираю статью про FS-Researcher: как учёные научили ИИ вести конспекты
ChatGPT и другие LLM "забывают" начало диалога при серьезном ресерче. Обычная проблема. Новые факты вытесняют старые из-за ограниченного контекстного окна, и отчет получается поверхностным. Недавнее исследование предлагает простое решение — дать ИИ-агенту "блокнот". Разбираемся как такой подход обходит ограничения контекста.
https://habr.com/ru/articles/992836/
#LLM #ИИагенты #большие_языковые_модели #контекстное_окно #RAG #ReAct #Claude #FSResearcher #нейросети
-
[Перевод] Claude Code: практический гайд по настройке, автоматизации и работе с контекстом
Команда AI for Devs подготовила перевод подробного гайда по Claude Code — от skills и хуков до MCP, субагентов и плагинов. Автор делится реальным сетапом после месяцев ежедневной работы и показывает, как выжать максимум из Claude Code, не убив контекст и производительность.
https://habr.com/ru/articles/987094/
#claude_code #workflow #mcp #автоматизация #плагины #хуки #контекстное_окно
-
Project Cognition Layer: Почему AI-агенту нужна не только векторная БД, а Git. Архитектура долговременной памяти проекта
За полгода активного использования Cursor IDE я была поражена тем, насколько этот инструмент изменил мой подход к работе. Разработка превратилась в удовольствие: поэтапное планирование, реализация, умные подсказки – агент выполняет задачи активно, быстро и, что самое главное, практически именно так, как я хочу. Конечно, всегда есть к чему придраться, но существенных минусов становилось все меньше. Cursor-подобные IDE и LLM постоянно развиваются: с переходом на последние модели и увеличением контекстного окна, мощь инструмента достигла такого уровня, что повседневные задачи решаются за минуты, и я уже практически не задумываюсь о технической рутине. Казалось бы, недостатков почти нет. Однако, всякий раз, приступая к новой задаче, я начинала новый чат. Мне не хотелось перечитывать свои диалоги недельной давности, искать там контекст. Но настоящая проблема возникает, когда задача переходит ко мне от другого разработчика. У меня нет доступа к его диалогу с чатом. Я не знаю, почему он принял те или иные решения, какие варианты он и AI отбросили. Мне приходится заново вводить Cursor в суть задачи, тратя время на объяснение того, что AI-агент моего коллеги уже знал. Еще одной проблемой всегда остается отсутствие наглядного понимания хода проекта . Глядя на код, я вижу результат , но не процесс . Я не вижу, как менялась логика принятия решений и куда движется архитектура. Git Log дает мне сухие факты ("изменен файл X"), но не дает ментальной модели. Получается парадокс: наши локальные AI-агенты умнеют с каждым днем, но как команда мы страдаем от "коллективной амнезии" и отсутствия единой картины мира. Именно это натолкнуло меня на идею Когнитивного слоя проекта (Project Cognition Layer) . Если у нас уже есть инструмент, который идеально хранит историю всех изменений (Git), почему бы не "накинуть" на него когнитивный слой, понятный и человеку, и AI?
https://habr.com/ru/articles/970560/
#Cursor #контекстное_окно #llmмодели #агент_кодирования #ai_ide_для_программирования #git
-
[Перевод] Как прокачать ИИ-агента без дообучения: Agent Skills
Большие языковые модели давно вышли за пределы «болталок» и теперь работают в реальных средах — пишут код, анализируют данные, управляют инструментами. Однако чем мощнее становятся такие агенты, тем отчётливее видно: дело уже не в нейросетевых весах, а в доступе к структурированным знаниям и процедурному контексту. Anthropic предлагает ответ в виде Agent Skills — модульного подхода, позволяющего упаковывать экспертизу в обычные папки и файлы, которые агент может обнаруживать, подгружать и использовать динамически. Это попытка превратить LLM из универсального помощника в специалиста без дообучения и одновременно найти масштабируемый способ работать с контекстом за пределами токенов. Читать статью
https://habr.com/ru/companies/otus/articles/967320/
#разработка_по #агентные_системы #LLM #модульность #контекстное_окно #инструкции_для_агентов #автоматизация #ИИагент #Agent_Skills
-
Почему “больше токенов ≠ лучше” или Как научить LLM работать с длинным контекстом
Всем привет! Меня зовут Наталья Бруй, я промпт-инженер в MWS AI. Вместе с моей коллегой Анастасией Тищенковой мы решили ответить на вопрос, который мучает нашего пиарщика многих – почему больше токенов не равно лучше и как заставить LLM работать адекватно на длинном контексте. Если вы создаете ИИ-решения для работы с большим объемом документов и хотите, чтобы LLM вам в этом помогала ( отвечала на вопросы по содержанию, генерировала запросы и заявления на их основе, делала резюме и и пр.) не абы как, а опираясь на выданные ей данные, тогда вам под кат. Оговорочка: эта статья для тех, кто находится на первых этапах освоения темы работы с длинным контекстом и вовлечен в создание каких-нибудь новых ИИ-продуктов на основе языковых моделей. Если вы уже две диссертации об этом написали, тогда можете сразу в комментариях ссылки оставить – мы почитаем. Читать далее
https://habr.com/ru/companies/mts_ai/articles/955952/
#длинный_контекст #llm #llmмодели #rag #nlp #искусственный_интеллект #исследование #контекстное_окно #галлюцинации_ии #промптинжиниринг
-
Анатомия памяти LLM: Почему будущее не за промптами, а за Инженерией Контекста
Мой счет за Google API взлетел до €51 из-за контекста LLM. Эта статья раскрывает, почему "память" моделей так дорога, как работает механизм Внимания, и предлагает 5 хаков для управления контекстом. Узнайте, почему будущее за Инженерией Контекста, а не за промптами.
https://habr.com/ru/articles/934244/
#инженерия_контекста #llm #llm_память #оптимизация_llm #prompt_engineering #механизм_внимания #rag #контекстное_окно #контекст_llm
-
Минификация кода для повышения эффективности LLM: влияние на лингвистику, генерацию и анализ программ
Большие языковые модели (LLM) становятся неотъемлемой частью инструментов генерации, анализа и автоматизации программирования. Их возможности позволяют автоматизировать разработку, искать ошибки, генерировать тесты, осуществлять перевод между языками программирования. Однако одно из ключевых ограничений – контекстное окно, то есть максимально возможная длина входных данных. С ростом объема современных программ эффективность работы LLM с длинным кодом становится всё более актуальной задачей, особенно учитывая вычислительные и финансовые издержки обработки длинных последовательностей. Минификация кода – процесс сокращения программного текста до минимального, необходимого для сохранения семантики. Для современных LLM это уже не только техническая задача (как раньше для web-ресурсов), а способ оптимизации использования ресурсов, экономия токенов, увеличение объема анализируемого кода, ускорение анализа и генерации. В данной статье рассматривается современное состояние исследований по минификации в контексте LLM, формулируются гипотезы о её влиянии, а также обсуждаются перспективы для программной лингвистики.
https://habr.com/ru/articles/931508/
#минификация #llm #токены #контекстное_окно #экономия_ресурсов #лингвистика
-
Новый метод оценки HashHop вместо “иголка в стоге сена”, RULER и 100 млн. токенов контекста
LLM с новым алгоритмом внимания в контекстное окно которой помещается весь проект с библиотеками и документацией, И почему пока звучит неубедительно все, кроме $465 млн. инвестиций. На днях стартап Magic анонсировал новую LLM модель с контекстым окном в 100 млн. токенов как многообещающий прорыв в области разработки ПО. Во-первых из-за гигантского контекстного окна, в которое буквально можно запихнуть целиком со всеми библиотеками и документацией весь проект (10 млн. строчек кода), а во вторых из-за нового механизма внимания, который позволяет модели действительно работать со всем этим контекстом. Рассмотрим насколько это инновационно и что можно понять из анонса Magic. (Спойлер - HashHop простой и логичный механизм, но как это все работает и работает ли понять пока невозможно).