#enterprise_ai — Public Fediverse posts

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте

Это бонусный материл в серии о внедрении LLM в клиентские сервисы. Если в прошлых трех статьях я подробно разбирал удачные моменты, архитектуру и правильные шаги, то этот текст решил целиком посвятить разбору наших ошибок и факапов. Сейчас – менее красивая часть и реальный опыт PM: что происходит после демо, когда AI-пилот пытаются превратить в промышленную систему и команда сталкивается со скрытыми техническими проблемами. На демо всё выглядело почти идеально. Бот отвечал живо, бизнес видел прогресс, команда сравнивала модели и крутила промпты. Потом пришли реальные пользователи, реальные данные и реальные ограничения. И выяснилось неприятное: мы лечили не то. В какой-то момент команда уже всерьёз обсуждала замену модели. Казалось, что проблема в качестве генерации: ответы были уверенные, но иногда неверные. После разбора логов оказалось, что в части диалогов LLM вообще не должна была отвечать. Routing отправлял пользователя в ветку answer, хотя API возвращал partial, а сценарий должен был уходить в handoff. Самые дорогие ошибки жили не в LLM. Они жили в routing, API, handoff, базе знаний, метриках и compliance-слое. Модель просто красиво озвучивала проблемы, которые система создала раньше. Перелом случился, когда мы перестали спрашивать: «Почему LLM ответила неправильно?» – и начали спрашивать иначе: «Почему система вообще поставила модель в ситуацию, где правильного ответа у неё быть не могло?» Вывод неприятный, но полезный: сильная LLM не компенсирует слабую архитектуру. Если у системы нет нормального routing, владельца knowledge base и понятного handoff, сравнение моделей часто становится дорогим отвлекающим манёвром.

https://habr.com/ru/companies/svoi_ru/articles/1056376/

#llm #ai_architecture #handoff #Knowledge_Base #AI_in_Fintech #rag #prompt_engineering #routing #api #enterprise_ai

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте

Это бонусный материл в серии о внедрении LLM в клиентские сервисы. Если в прошлых трех статьях я подробно разбирал удачные моменты, архитектуру и правильные шаги, то этот текст решил целиком посвятить разбору наших ошибок и факапов. Сейчас – менее красивая часть и реальный опыт PM: что происходит после демо, когда AI-пилот пытаются превратить в промышленную систему и команда сталкивается со скрытыми техническими проблемами. На демо всё выглядело почти идеально. Бот отвечал живо, бизнес видел прогресс, команда сравнивала модели и крутила промпты. Потом пришли реальные пользователи, реальные данные и реальные ограничения. И выяснилось неприятное: мы лечили не то. В какой-то момент команда уже всерьёз обсуждала замену модели. Казалось, что проблема в качестве генерации: ответы были уверенные, но иногда неверные. После разбора логов оказалось, что в части диалогов LLM вообще не должна была отвечать. Routing отправлял пользователя в ветку answer, хотя API возвращал partial, а сценарий должен был уходить в handoff. Самые дорогие ошибки жили не в LLM. Они жили в routing, API, handoff, базе знаний, метриках и compliance-слое. Модель просто красиво озвучивала проблемы, которые система создала раньше. Перелом случился, когда мы перестали спрашивать: «Почему LLM ответила неправильно?» – и начали спрашивать иначе: «Почему система вообще поставила модель в ситуацию, где правильного ответа у неё быть не могло?» Вывод неприятный, но полезный: сильная LLM не компенсирует слабую архитектуру. Если у системы нет нормального routing, владельца knowledge base и понятного handoff, сравнение моделей часто становится дорогим отвлекающим манёвром.

https://habr.com/ru/companies/svoi_ru/articles/1056376/

#llm #ai_architecture #handoff #Knowledge_Base #AI_in_Fintech #rag #prompt_engineering #routing #api #enterprise_ai

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте

Это бонусный материл в серии о внедрении LLM в клиентские сервисы. Если в прошлых трех статьях я подробно разбирал удачные моменты, архитектуру и правильные шаги, то этот текст решил целиком посвятить разбору наших ошибок и факапов. Сейчас – менее красивая часть и реальный опыт PM: что происходит после демо, когда AI-пилот пытаются превратить в промышленную систему и команда сталкивается со скрытыми техническими проблемами. На демо всё выглядело почти идеально. Бот отвечал живо, бизнес видел прогресс, команда сравнивала модели и крутила промпты. Потом пришли реальные пользователи, реальные данные и реальные ограничения. И выяснилось неприятное: мы лечили не то. В какой-то момент команда уже всерьёз обсуждала замену модели. Казалось, что проблема в качестве генерации: ответы были уверенные, но иногда неверные. После разбора логов оказалось, что в части диалогов LLM вообще не должна была отвечать. Routing отправлял пользователя в ветку answer, хотя API возвращал partial, а сценарий должен был уходить в handoff. Самые дорогие ошибки жили не в LLM. Они жили в routing, API, handoff, базе знаний, метриках и compliance-слое. Модель просто красиво озвучивала проблемы, которые система создала раньше. Перелом случился, когда мы перестали спрашивать: «Почему LLM ответила неправильно?» – и начали спрашивать иначе: «Почему система вообще поставила модель в ситуацию, где правильного ответа у неё быть не могло?» Вывод неприятный, но полезный: сильная LLM не компенсирует слабую архитектуру. Если у системы нет нормального routing, владельца knowledge base и понятного handoff, сравнение моделей часто становится дорогим отвлекающим манёвром.

https://habr.com/ru/companies/svoi_ru/articles/1056376/

#llm #ai_architecture #handoff #Knowledge_Base #AI_in_Fintech #rag #prompt_engineering #routing #api #enterprise_ai

Зачем GenAI-ассистенту platform logic: как управлять источниками, evidence и ответами

GenAI-ассистент может довольно быстро начать отвечать "по теме": находить релевантные фрагменты, собирать уверенный текст и создавать ощущение, что система уже работает. Если подключить LLM к корпоративным документам через RAG, подобрать параметры поиска, немного почистить контекст и добавить хороший prompt, первые результаты часто выглядят обнадеживающе. Пользователи начинают пробовать систему, появляются первые метрики использования, а сама идея быстро кажется готовой к расширению. Но для продуктового контура этого недостаточно. Проблема не только в том, может ли модель сформировать релевантный ответ. Проблема в том, является ли поведение системы ожидаемым, проверяемым и управляемым. Можно получить ассистента, который уверенно отвечает на вопросы, но при этом плохо контролируется в деталях: какие источники он использовал, достаточно ли найденной информации для ответа, можно ли показывать ответ пользователю, где безопаснее остановиться и дать ограниченный ответ (fallback), как проверяется качество, кто управляет ссылками на источники и что происходит при неполных, устаревших или плохо структурированных данных. В этой статье я разбираю не готовый "рецепт правильного GenAI-ассистента", а результаты и выводы из проверки на малом контролируемом прототипе: какие решения появляются вокруг GenAI-системы, когда она должна не просто отвечать, а вести себя управляемо. Фокус будет не на том, как "улучшить prompt" или выбрать модель побольше, а на том, как система управляет ответом после retrieval:

https://habr.com/ru/articles/1050848/

#GenAI #RAG #LLM #AI_Platform #retrieval #evidence #fallback #observability #quality_gates #enterprise_AI

Зачем GenAI-ассистенту platform logic: как управлять источниками, evidence и ответами

GenAI-ассистент может довольно быстро начать отвечать "по теме": находить релевантные фрагменты, собирать уверенный текст и создавать ощущение, что система уже работает. Если подключить LLM к корпоративным документам через RAG, подобрать параметры поиска, немного почистить контекст и добавить хороший prompt, первые результаты часто выглядят обнадеживающе. Пользователи начинают пробовать систему, появляются первые метрики использования, а сама идея быстро кажется готовой к расширению. Но для продуктового контура этого недостаточно. Проблема не только в том, может ли модель сформировать релевантный ответ. Проблема в том, является ли поведение системы ожидаемым, проверяемым и управляемым. Можно получить ассистента, который уверенно отвечает на вопросы, но при этом плохо контролируется в деталях: какие источники он использовал, достаточно ли найденной информации для ответа, можно ли показывать ответ пользователю, где безопаснее остановиться и дать ограниченный ответ (fallback), как проверяется качество, кто управляет ссылками на источники и что происходит при неполных, устаревших или плохо структурированных данных. В этой статье я разбираю не готовый "рецепт правильного GenAI-ассистента", а результаты и выводы из проверки на малом контролируемом прототипе: какие решения появляются вокруг GenAI-системы, когда она должна не просто отвечать, а вести себя управляемо. Фокус будет не на том, как "улучшить prompt" или выбрать модель побольше, а на том, как система управляет ответом после retrieval:

https://habr.com/ru/articles/1050848/

#GenAI #RAG #LLM #AI_Platform #retrieval #evidence #fallback #observability #quality_gates #enterprise_AI

Зачем GenAI-ассистенту platform logic: как управлять источниками, evidence и ответами

GenAI-ассистент может довольно быстро начать отвечать "по теме": находить релевантные фрагменты, собирать уверенный текст и создавать ощущение, что система уже работает. Если подключить LLM к корпоративным документам через RAG, подобрать параметры поиска, немного почистить контекст и добавить хороший prompt, первые результаты часто выглядят обнадеживающе. Пользователи начинают пробовать систему, появляются первые метрики использования, а сама идея быстро кажется готовой к расширению. Но для продуктового контура этого недостаточно. Проблема не только в том, может ли модель сформировать релевантный ответ. Проблема в том, является ли поведение системы ожидаемым, проверяемым и управляемым. Можно получить ассистента, который уверенно отвечает на вопросы, но при этом плохо контролируется в деталях: какие источники он использовал, достаточно ли найденной информации для ответа, можно ли показывать ответ пользователю, где безопаснее остановиться и дать ограниченный ответ (fallback), как проверяется качество, кто управляет ссылками на источники и что происходит при неполных, устаревших или плохо структурированных данных. В этой статье я разбираю не готовый "рецепт правильного GenAI-ассистента", а результаты и выводы из проверки на малом контролируемом прототипе: какие решения появляются вокруг GenAI-системы, когда она должна не просто отвечать, а вести себя управляемо. Фокус будет не на том, как "улучшить prompt" или выбрать модель побольше, а на том, как система управляет ответом после retrieval:

https://habr.com/ru/articles/1050848/

#GenAI #RAG #LLM #AI_Platform #retrieval #evidence #fallback #observability #quality_gates #enterprise_AI

Альпина GPT: 9 000 пользователей, −1 977 часов и главный барьер корпоративного ИИ

Архитектура агрегатора из 42 моделей, разбор воронки первого касания и измеренная экономия часов на маркетинге книгоиздания. Павел Путинцев, продакт-менеджер

https://habr.com/ru/companies/alpinadigital/articles/1043654/

#корпоративный_ии #ai_agent #prompt_engineering #enterprise_ai #chatgpt #claude #onpremise #alpina_gpt #alpina_digital #llm

Альпина GPT: 9 000 пользователей, −1 977 часов и главный барьер корпоративного ИИ

Архитектура агрегатора из 42 моделей, разбор воронки первого касания и измеренная экономия часов на маркетинге книгоиздания. Павел Путинцев, продакт-менеджер

https://habr.com/ru/companies/alpinadigital/articles/1043654/

#корпоративный_ии #ai_agent #prompt_engineering #enterprise_ai #chatgpt #claude #onpremise #alpina_gpt #alpina_digital #llm

Альпина GPT: 9 000 пользователей, −1 977 часов и главный барьер корпоративного ИИ

Архитектура агрегатора из 42 моделей, разбор воронки первого касания и измеренная экономия часов на маркетинге книгоиздания. Павел Путинцев, продакт-менеджер

https://habr.com/ru/companies/alpinadigital/articles/1043654/

#корпоративный_ии #ai_agent #prompt_engineering #enterprise_ai #chatgpt #claude #onpremise #alpina_gpt #alpina_digital #llm

На какую роль вы нанимаете AI?

История создания мультиагентной AI-системы, которая управляет корпоративной ИТ-инфраструктурой: следит за системами мониторинга, восстанавливает сервисы, разбирает security-алерты и понимает естественный язык. Пятница, 18:30. Соседние башни в одном бизнес-центре. Примерно на одном уровне в своих кабинетах сидят два руководителя по информационной безопасности (CISO (Chief Information Security Officer) — компании похожего масштаба, одинаковая инфраструктура, одинаковые проблемы, одинаковый бюджет на безопасность. За окном — популярный московский бар через дорогу, оттуда доносятся звуки выступления известной рок-группы. Два CISO. Одинаковые компании. Одно решение, принятое полгода назад, разведёт их в эту пятницу по разные стороны двора.

https://habr.com/ru/articles/1042670/

#AI #кибербезопасность #soc #ciso #enterprise_ai #cybersecurity #искусственный_интеллект #ai_agents

На какую роль вы нанимаете AI?

История создания мультиагентной AI-системы, которая управляет корпоративной ИТ-инфраструктурой: следит за системами мониторинга, восстанавливает сервисы, разбирает security-алерты и понимает естественный язык. Пятница, 18:30. Соседние башни в одном бизнес-центре. Примерно на одном уровне в своих кабинетах сидят два руководителя по информационной безопасности (CISO (Chief Information Security Officer) — компании похожего масштаба, одинаковая инфраструктура, одинаковые проблемы, одинаковый бюджет на безопасность. За окном — популярный московский бар через дорогу, оттуда доносятся звуки выступления известной рок-группы. Два CISO. Одинаковые компании. Одно решение, принятое полгода назад, разведёт их в эту пятницу по разные стороны двора.

https://habr.com/ru/articles/1042670/

#AI #кибербезопасность #soc #ciso #enterprise_ai #cybersecurity #искусственный_интеллект #ai_agents

На какую роль вы нанимаете AI?

История создания мультиагентной AI-системы, которая управляет корпоративной ИТ-инфраструктурой: следит за системами мониторинга, восстанавливает сервисы, разбирает security-алерты и понимает естественный язык. Пятница, 18:30. Соседние башни в одном бизнес-центре. Примерно на одном уровне в своих кабинетах сидят два руководителя по информационной безопасности (CISO (Chief Information Security Officer) — компании похожего масштаба, одинаковая инфраструктура, одинаковые проблемы, одинаковый бюджет на безопасность. За окном — популярный московский бар через дорогу, оттуда доносятся звуки выступления известной рок-группы. Два CISO. Одинаковые компании. Одно решение, принятое полгода назад, разведёт их в эту пятницу по разные стороны двора.

https://habr.com/ru/articles/1042670/

#AI #кибербезопасность #soc #ciso #enterprise_ai #cybersecurity #искусственный_интеллект #ai_agents

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

AI-ready ITSM: платформа или коробка – и почему это главный вопрос 2026 года

Ещё три года назад ИИ в ITSM представлялся как просто чат-бот на входе, который пытается угадать категорию тикета. Сегодня уже другой разговор: ведущие платформы встраивают AI не как надстройку над тикет-системой, а как архитектурный слой, который участвует в маршрутизации, предсказывает инциденты до их возникновения, автономно закрывает типовые обращения и генерирует постмортемы. Рынок уже видит пользу — по данным Forrester , компании, внедрившие предиктивные ITSM-практики, восстанавливаются после инцидентов вдвое быстрее тех, кто полагается на ручную обработку.

https://habr.com/ru/articles/1024216/

#ITSM #GenAI #Agentic_AI #LLM #RAG #Enterprise_AI #AIOps #Service_Desk #Automation #Onpremise

AI-ready ITSM: платформа или коробка – и почему это главный вопрос 2026 года

Ещё три года назад ИИ в ITSM представлялся как просто чат-бот на входе, который пытается угадать категорию тикета. Сегодня уже другой разговор: ведущие платформы встраивают AI не как надстройку над тикет-системой, а как архитектурный слой, который участвует в маршрутизации, предсказывает инциденты до их возникновения, автономно закрывает типовые обращения и генерирует постмортемы. Рынок уже видит пользу — по данным Forrester , компании, внедрившие предиктивные ITSM-практики, восстанавливаются после инцидентов вдвое быстрее тех, кто полагается на ручную обработку.

https://habr.com/ru/articles/1024216/

#ITSM #GenAI #Agentic_AI #LLM #RAG #Enterprise_AI #AIOps #Service_Desk #Automation #Onpremise

AI-ready ITSM: платформа или коробка – и почему это главный вопрос 2026 года

Ещё три года назад ИИ в ITSM представлялся как просто чат-бот на входе, который пытается угадать категорию тикета. Сегодня уже другой разговор: ведущие платформы встраивают AI не как надстройку над тикет-системой, а как архитектурный слой, который участвует в маршрутизации, предсказывает инциденты до их возникновения, автономно закрывает типовые обращения и генерирует постмортемы. Рынок уже видит пользу — по данным Forrester , компании, внедрившие предиктивные ITSM-практики, восстанавливаются после инцидентов вдвое быстрее тех, кто полагается на ручную обработку.

https://habr.com/ru/articles/1024216/

#ITSM #GenAI #Agentic_AI #LLM #RAG #Enterprise_AI #AIOps #Service_Desk #Automation #Onpremise

Benchmarking the Most Reliable Document Parsing API
https://www.tensorlake.ai/blog/benchmarks
#ycombinator #context_engineering #document_processing #machine_learning #LLM #RAG #vector_database #knowledge_graphs #document_parsing #structured_extraction #AI_workflows #Document_Parsing #OCR #Benchmarks #TEDS #Enterprise_AI

Benchmarking the Most Reliable Document Parsing API
https://www.tensorlake.ai/blog/benchmarks
#ycombinator #context_engineering #document_processing #machine_learning #LLM #RAG #vector_database #knowledge_graphs #document_parsing #structured_extraction #AI_workflows #Document_Parsing #OCR #Benchmarks #TEDS #Enterprise_AI

Benchmarking the Most Reliable Document Parsing API
https://www.tensorlake.ai/blog/benchmarks
#ycombinator #context_engineering #document_processing #machine_learning #LLM #RAG #vector_database #knowledge_graphs #document_parsing #structured_extraction #AI_workflows #Document_Parsing #OCR #Benchmarks #TEDS #Enterprise_AI

Benchmarking the Most Reliable Document Parsing API
https://www.tensorlake.ai/blog/benchmarks
#ycombinator #context_engineering #document_processing #machine_learning #LLM #RAG #vector_database #knowledge_graphs #document_parsing #structured_extraction #AI_workflows #Document_Parsing #OCR #Benchmarks #TEDS #Enterprise_AI

Show HN: AI Agent System to Analyze ArXiv AI Papers
https://www.stack-ai.com/form/83883819-33d3-443c-88db-18106c9226da/ba81c6e6-b8af-4a97-b37a-174502daf8c4/6661deb730cbde865feba7f7
#ycombinator #Stack_AI #Enterprise_AI #AI_applications #RAG #Fine_tunning #LLMs #Embeddings #Custom_ChatGPT #AI_Applications #Generative_AI #Hospitality #Retail #Marketing #Advertising #Healthcare #Real_Estate #Finance #Insurance

Show HN: AI Agent System to Analyze ArXiv AI Papers
https://www.stack-ai.com/form/83883819-33d3-443c-88db-18106c9226da/ba81c6e6-b8af-4a97-b37a-174502daf8c4/6661deb730cbde865feba7f7
#ycombinator #Stack_AI #Enterprise_AI #AI_applications #RAG #Fine_tunning #LLMs #Embeddings #Custom_ChatGPT #AI_Applications #Generative_AI #Hospitality #Retail #Marketing #Advertising #Healthcare #Real_Estate #Finance #Insurance