#ai_infrastructure — Public Fediverse posts

Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается

Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса, долю успешных задач. Это полезно для общего контроля ситуации, но почти бесполезно для реальной диагностики системы. Например, если success rate упал с 85% до 72%, то само по себе число не объясняет причину деградации. Команда вынуждена гадать, какая часть системы вдруг начала допускать ошибки. Сломался retrieval? Модель хуже начала выбирать инструменты? Контекст загрязняется после нескольких ходов? Или система уперлась в возможности base model? При росте проекта и увеличении сложности кодовой базы, сбои начинают расти мультипликативно – ошибки всех систем начинают перемножаться между собой. В конечном итоге, команда теряет реальный контроль. Проблему решает внедрение покомпонентных eval. Они дополняют end-to-end метрики, показывая, какой слой AI-агента работает, какой деградировал – и где именно искать причину. То есть внедрение evals помогает получать метрики производительности каждого компонента вашего агента.

https://habr.com/ru/articles/1042924/

#aiагенты #llm #rag #evals #orchestration #retrieval #tool_calling #context_engineering #production #ai_infrastructure

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам. Первое инстинктивное действие — поменять модель. Opus 4.5, GPT 5.5 или что там сейчас в топе лидерборда. Меняете. Счет за инференс растет в 4–5 раз, а общая доля ошибок снижается с 12% до 9%. Пользователи пишут о тех же проблемах. Бюджет следующего квартала сгорает за пару недель ради улучшения в 3 процентных пункта — и вы по-прежнему не понимаете, что именно было не так в системе и как улучшать ее дальше. Эта статья — о том, почему смена модели обычно разочаровывает и куда стоит смотреть в первую очередь. Большинство сбоев AI-систем живет в слое обвязки — orchestration, retrieval, tool definitions, retries, context management, — а не в самой модели. Дальше — метод, как отличить проблемы обвязки от проблем модели, кейс, в котором одно исправление в обвязке подняло completion rate с 26% до 88% без смены модели, и чек-лист, который помогает находить такие сбои в вашей собственной системе. Если вы никогда не делали подобной диагностики — ожидайте найти хотя бы один пункт, который стоит починить.

https://habr.com/ru/articles/1039292/

#aiагенты #llm #rag #orchestration #retrieval #tool_calling #context_engineering #evals #production #ai_infrastructure

Agent Gateway в Google Cloud: внешний контур управления AI-агентами, которого не хватало enterprise

Не так давно AI-агент для разработки кода (Cursor на базе модели Anthropic Claude Opus 4.6) получил задачу и выполнил её буквально. Слишком буквально. За 9 секунд он уничтожил базу данных компании вместе с резервными копиями. Когда его спросили об этом, агент ответил: "Я нарушил каждый принцип, который мне дали". Этот случай произошел в стартапе PocketOS В этой статье я расскажу Вам, при помощи какого инструмента в Google Cloud можно избежать подобных ситуаций. Подробно разберем что такое Agent Gateway, из чего он состоит, какие плюсы он нам даст, и стоит ли рассматривать его в проекте. Читать далее про Agent Gateway

https://habr.com/ru/articles/1036346/

#GoogleCloud #ииагенты #aiagent #security #ai_infrastructure #облачная_инфраструктура

Когда вычисления станут бесконечными: разбор интервью Илона Маска от 5.02.26

Маск говорит, что самое дешёвое место для размещения ИИ скоро будет в космосе. Звучит как очередной футуристический разгон, но за ним прячатся вполне земные проблемы: вычисления, память, энергия и пределы текущей инфраструктуры. В статье разбираю, какие из этих тезисов подтверждаются данными, а где футуризм уже начинает работать отделом продаж.

https://habr.com/ru/articles/1013460/

#elon_musk #ai_infrastructure #gpu #hbm #datacenter #energy #memory #spacex #inference

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Criticizing Immigration Laws Is Not Racist
https://www.maximepeabody.com/blog/immigration-in-canada
#ycombinator #Generative_AI #AI_Engineer #LLM_Expert #Machine_Learning #AI_Infrastructure #GenAI #AI_Development

Выбираем MLOps инструменты с учётом зрелости команды

MLOps — это набор практик и процессов для управления жизненным циклом ML-моделей: от обучения до продакшна и поддержки. Если копнуть глубже, окажется, что решений куча и выбор неочевиден. Разберем, почему не всё так просто и как принимать решения о внедрении MLOps-инструментов.

https://habr.com/ru/articles/908216/

#mlops #opensource #ml_stack #machine_learning #ai_infrastructure