#ai_infrastructure — Public Fediverse posts

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам. Первое инстинктивное действие — поменять модель. Opus 4.5, GPT 5.5 или что там сейчас в топе лидерборда. Меняете. Счет за инференс растет в 4–5 раз, а общая доля ошибок снижается с 12% до 9%. Пользователи пишут о тех же проблемах. Бюджет следующего квартала сгорает за пару недель ради улучшения в 3 процентных пункта — и вы по-прежнему не понимаете, что именно было не так в системе и как улучшать ее дальше. Эта статья — о том, почему смена модели обычно разочаровывает и куда стоит смотреть в первую очередь. Большинство сбоев AI-систем живет в слое обвязки — orchestration, retrieval, tool definitions, retries, context management, — а не в самой модели. Дальше — метод, как отличить проблемы обвязки от проблем модели, кейс, в котором одно исправление в обвязке подняло completion rate с 26% до 88% без смены модели, и чек-лист, который помогает находить такие сбои в вашей собственной системе. Если вы никогда не делали подобной диагностики — ожидайте найти хотя бы один пункт, который стоит починить.

https://habr.com/ru/articles/1039292/

#aiагенты #llm #rag #orchestration #retrieval #tool_calling #context_engineering #evals #production #ai_infrastructure

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам. Первое инстинктивное действие — поменять модель. Opus 4.5, GPT 5.5 или что там сейчас в топе лидерборда. Меняете. Счет за инференс растет в 4–5 раз, а общая доля ошибок снижается с 12% до 9%. Пользователи пишут о тех же проблемах. Бюджет следующего квартала сгорает за пару недель ради улучшения в 3 процентных пункта — и вы по-прежнему не понимаете, что именно было не так в системе и как улучшать ее дальше. Эта статья — о том, почему смена модели обычно разочаровывает и куда стоит смотреть в первую очередь. Большинство сбоев AI-систем живет в слое обвязки — orchestration, retrieval, tool definitions, retries, context management, — а не в самой модели. Дальше — метод, как отличить проблемы обвязки от проблем модели, кейс, в котором одно исправление в обвязке подняло completion rate с 26% до 88% без смены модели, и чек-лист, который помогает находить такие сбои в вашей собственной системе. Если вы никогда не делали подобной диагностики — ожидайте найти хотя бы один пункт, который стоит починить.

https://habr.com/ru/articles/1039292/

#aiагенты #llm #rag #orchestration #retrieval #tool_calling #context_engineering #evals #production #ai_infrastructure

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам. Первое инстинктивное действие — поменять модель. Opus 4.5, GPT 5.5 или что там сейчас в топе лидерборда. Меняете. Счет за инференс растет в 4–5 раз, а общая доля ошибок снижается с 12% до 9%. Пользователи пишут о тех же проблемах. Бюджет следующего квартала сгорает за пару недель ради улучшения в 3 процентных пункта — и вы по-прежнему не понимаете, что именно было не так в системе и как улучшать ее дальше. Эта статья — о том, почему смена модели обычно разочаровывает и куда стоит смотреть в первую очередь. Большинство сбоев AI-систем живет в слое обвязки — orchestration, retrieval, tool definitions, retries, context management, — а не в самой модели. Дальше — метод, как отличить проблемы обвязки от проблем модели, кейс, в котором одно исправление в обвязке подняло completion rate с 26% до 88% без смены модели, и чек-лист, который помогает находить такие сбои в вашей собственной системе. Если вы никогда не делали подобной диагностики — ожидайте найти хотя бы один пункт, который стоит починить.

https://habr.com/ru/articles/1039292/

#aiагенты #llm #rag #orchestration #retrieval #tool_calling #context_engineering #evals #production #ai_infrastructure

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам. Первое инстинктивное действие — поменять модель. Opus 4.5, GPT 5.5 или что там сейчас в топе лидерборда. Меняете. Счет за инференс растет в 4–5 раз, а общая доля ошибок снижается с 12% до 9%. Пользователи пишут о тех же проблемах. Бюджет следующего квартала сгорает за пару недель ради улучшения в 3 процентных пункта — и вы по-прежнему не понимаете, что именно было не так в системе и как улучшать ее дальше. Эта статья — о том, почему смена модели обычно разочаровывает и куда стоит смотреть в первую очередь. Большинство сбоев AI-систем живет в слое обвязки — orchestration, retrieval, tool definitions, retries, context management, — а не в самой модели. Дальше — метод, как отличить проблемы обвязки от проблем модели, кейс, в котором одно исправление в обвязке подняло completion rate с 26% до 88% без смены модели, и чек-лист, который помогает находить такие сбои в вашей собственной системе. Если вы никогда не делали подобной диагностики — ожидайте найти хотя бы один пункт, который стоит починить.

https://habr.com/ru/articles/1039292/

#aiагенты #llm #rag #orchestration #retrieval #tool_calling #context_engineering #evals #production #ai_infrastructure

Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

Не так давно AI-агент для разработки кода (Cursor на базе модели Anthropic Claude Opus 4.6) получил задачу и выполнил её буквально. Слишком буквально. За 9 секунд он уничтожил базу данных компании вместе с резервными копиями. Когда его спросили об этом, агент ответил: "Я нарушил каждый принцип, который мне дали". Этот случай произошел в стартапе PocketOS В этой статье я расскажу Вам, при помощи какого инструмента в Google Cloud можно избежать подобных ситуаций. Подробно разберем что такое Agent Gateway, из чего он состоит, какие плюсы он нам даст, и стоит ли рассматривать его в проекте. Читать далее про Agent Gateway

https://habr.com/ru/articles/1036346/

#GoogleCloud #ииагенты #aiagent #security #ai_infrastructure #облачная_инфраструктура

Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

Не так давно AI-агент для разработки кода (Cursor на базе модели Anthropic Claude Opus 4.6) получил задачу и выполнил её буквально. Слишком буквально. За 9 секунд он уничтожил базу данных компании вместе с резервными копиями. Когда его спросили об этом, агент ответил: "Я нарушил каждый принцип, который мне дали". Этот случай произошел в стартапе PocketOS В этой статье я расскажу Вам, при помощи какого инструмента в Google Cloud можно избежать подобных ситуаций. Подробно разберем что такое Agent Gateway, из чего он состоит, какие плюсы он нам даст, и стоит ли рассматривать его в проекте. Читать далее про Agent Gateway

https://habr.com/ru/articles/1036346/

#GoogleCloud #ииагенты #aiagent #security #ai_infrastructure #облачная_инфраструктура

Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

Не так давно AI-агент для разработки кода (Cursor на базе модели Anthropic Claude Opus 4.6) получил задачу и выполнил её буквально. Слишком буквально. За 9 секунд он уничтожил базу данных компании вместе с резервными копиями. Когда его спросили об этом, агент ответил: "Я нарушил каждый принцип, который мне дали". Этот случай произошел в стартапе PocketOS В этой статье я расскажу Вам, при помощи какого инструмента в Google Cloud можно избежать подобных ситуаций. Подробно разберем что такое Agent Gateway, из чего он состоит, какие плюсы он нам даст, и стоит ли рассматривать его в проекте. Читать далее про Agent Gateway

https://habr.com/ru/articles/1036346/

#GoogleCloud #ииагенты #aiagent #security #ai_infrastructure #облачная_инфраструктура

Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

Не так давно AI-агент для разработки кода (Cursor на базе модели Anthropic Claude Opus 4.6) получил задачу и выполнил её буквально. Слишком буквально. За 9 секунд он уничтожил базу данных компании вместе с резервными копиями. Когда его спросили об этом, агент ответил: "Я нарушил каждый принцип, который мне дали". Этот случай произошел в стартапе PocketOS В этой статье я расскажу Вам, при помощи какого инструмента в Google Cloud можно избежать подобных ситуаций. Подробно разберем что такое Agent Gateway, из чего он состоит, какие плюсы он нам даст, и стоит ли рассматривать его в проекте. Читать далее про Agent Gateway

https://habr.com/ru/articles/1036346/

#GoogleCloud #ииагенты #aiagent #security #ai_infrastructure #облачная_инфраструктура

Когда вычисления станут бесконечными: разбор интервью Илона Маска от 5.02.26

Маск говорит, что самое дешёвое место для размещения ИИ скоро будет в космосе. Звучит как очередной футуристический разгон, но за ним прячатся вполне земные проблемы: вычисления, память, энергия и пределы текущей инфраструктуры. В статье разбираю, какие из этих тезисов подтверждаются данными, а где футуризм уже начинает работать отделом продаж.

https://habr.com/ru/articles/1013460/

#elon_musk #ai_infrastructure #gpu #hbm #datacenter #energy #memory #spacex #inference

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Выбираем MLOps инструменты с учётом зрелости команды

MLOps — это набор практик и процессов для управления жизненным циклом ML-моделей: от обучения до продакшна и поддержки. Если копнуть глубже, окажется, что решений куча и выбор неочевиден. Разберем, почему не всё так просто и как принимать решения о внедрении MLOps-инструментов.

https://habr.com/ru/articles/908216/

#mlops #opensource #ml_stack #machine_learning #ai_infrastructure