#ai_architecture — Public Fediverse posts on home.social

Habr @[email protected] · 2026-07-07 · 08:02 UTC

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте

Это бонусный материл в серии о внедрении LLM в клиентские сервисы. Если в прошлых трех статьях я подробно разбирал удачные моменты, архитектуру и правильные шаги, то этот текст решил целиком посвятить разбору наших ошибок и факапов. Сейчас – менее красивая часть и реальный опыт PM: что происходит после демо, когда AI-пилот пытаются превратить в промышленную систему и команда сталкивается со скрытыми техническими проблемами. На демо всё выглядело почти идеально. Бот отвечал живо, бизнес видел прогресс, команда сравнивала модели и крутила промпты. Потом пришли реальные пользователи, реальные данные и реальные ограничения. И выяснилось неприятное: мы лечили не то. В какой-то момент команда уже всерьёз обсуждала замену модели. Казалось, что проблема в качестве генерации: ответы были уверенные, но иногда неверные. После разбора логов оказалось, что в части диалогов LLM вообще не должна была отвечать. Routing отправлял пользователя в ветку answer, хотя API возвращал partial, а сценарий должен был уходить в handoff. Самые дорогие ошибки жили не в LLM. Они жили в routing, API, handoff, базе знаний, метриках и compliance-слое. Модель просто красиво озвучивала проблемы, которые система создала раньше. Перелом случился, когда мы перестали спрашивать: «Почему LLM ответила неправильно?» – и начали спрашивать иначе: «Почему система вообще поставила модель в ситуацию, где правильного ответа у неё быть не могло?» Вывод неприятный, но полезный: сильная LLM не компенсирует слабую архитектуру. Если у системы нет нормального routing, владельца knowledge base и понятного handoff, сравнение моделей часто становится дорогим отвлекающим манёвром.

https://habr.com/ru/companies/svoi_ru/articles/1056376/

#llm #ai_architecture #handoff #Knowledge_Base #AI_in_Fintech #rag #prompt_engineering #routing #api #enterprise_ai

#enterprise_ai #api #routing #prompt_engineering #rag #ai_in_fintech

Habr @[email protected] · 2026-06-12 · 16:52 UTC

Почему мы спорим о памяти для AI-агентов

На днях наткнулся на статью про память для AI-агентов. Сама статья была вполне типичной: SQLite, хранение контекста, поиск по накопленным знаниям, экономия токенов. Но гораздо интереснее оказались комментарии. Под публикацией быстро возник спор, который на первый взгляд выглядел техническим. Одни утверждали:

https://habr.com/ru/articles/1046944/

#AI_Agents #Agent_Memory #LLM #Agentic_AI #Knowledge_Management #Context_Engineering #Longterm_Memory #Project_Memory #Retrieval_Systems #AI_Architecture