#retrievalaugmented_generation — Public Fediverse posts

Как поддерживать большую базу знаний для RAG и обновлять ее в полуавтоматическом режиме

У большой базы знаний есть неприятное свойство. Она хорошо отвечает на вопросы, которые в нее уже положили, и никак не сообщает о вопросах, которых в ней не хватает Пользователь задает вопрос AI-агенту, RAG не находит подходящего материала, и диалог уходит специалисту. Оператор разбирается и пишет правильный ответ. Через несколько дней приходит другой пользователь с той же проблемой, но для Agent ничего не изменилось. Ответ уже существует внутри компании, просто он остался в истории поддержки Чем больше обращений, тем хуже работает ручной контур. Продакт видит общую долю передач оператору, редактор получает отдельные просьбы обновить базу, а повторяющиеся вопросы растворяются среди тысяч диалогов. В итоге RAG пополняют по ощущениям, громким жалобам и случайно замеченным кейсам Мы решили построить сервис, который находит такие пробелы автоматически. Он читает обращения, выделяет полезные ответы операторов, объединяет повторы, сравнивает результат с текущей базой знаний и готовит редактору рекомендации

https://habr.com/ru/articles/1074624/

#RAG #база_знаний #LLM #AIагенты #семантический_поиск #дедупликация #humanintheloop #поддержка_пользователей #управление_знаниями #RetrievalAugmented_Generation

Что такое RAGFlow и с чем его едят

Если вы хоть раз пользовались LLM, то почти наверняка сталкивались с двумя ее классическими болячками: галлюцинациями и устаревшими знаниями. А когда дело доходит до рабочих задач, появляется еще одна проблема — как использовать внутренние документы компании, не выкладывая их в открытый доступ. В этой статье разберем метод RAG (Retrieval-Augmented Generation) и подробно посмотрим на один из самых интересных open-source инструментов для его реализации — RAGFlow. Попробуем понять, насколько он подходит для внутреннего использования.

https://habr.com/ru/companies/selectel/articles/1068542/

#selectel #LLM #RAG #retrievalaugmented_generation #RAGFlow #внутренние_документы_компании #ai #ml #mlops

Как я собрал антискам‑бота на грязных данных: детектор, типизатор и грабли по дороге

В первой статье я разбирал RAG-модуль этого проекта и главный вывод — что RAG оказался про замеры, а не про код. Здесь — про то, как устроена вся система вокруг него: классификатор, который решает, кому вообще нужна помощь, определитель типа проблемы и архитектура, которая всё это связывает. Эта статья скорее про ML-инженерию на реальных, грязных данных, чем про RAG. Про то, как собрать рабочий классификатор, когда у тебя нет размеченного датасета, метрики врут, а данные — это поток из телеграм-чатов с опечатками, сленгом и тремя языками вперемешку. Цифры все реальные, из рабочих логов.

https://habr.com/ru/articles/1063028/

#rag #rag_ai #rag_pipeline #rag_система #rag_техники #retrievalaugmented_generation #retrieval_augmented_generation

RAG — это про замеры, а не про код. История одного бота, где почти всё «правильное» сделало хуже

Есть жанр статей про RAG, который выглядит так: подключаем векторную базу, берём эмбеддер, сверху реранкер, для верности — гибридный поиск с BM25, и вот у нас продакшн-ready система. Двадцать строк кода, стрелочки на схеме, всё летает. Я прошёл этот путь до конца на реальных данных. И почти каждое «правильное» улучшение из этого списка на моих данных сделало хуже . BM25 уронил метрику. Реранкер уронил метрику. Дважды, в двух разных конфигурациях. Единственное, что реально помогло, — не код, а несколько дней возни с данными и замерами. Это не статья «RAG не работает». RAG работает. Это статья о том, что настоящая работа в RAG — не в коде, который пишется за день, а в eval-харнессе, чистке корпуса и честных замерах, которые показывают, что из индустриальных дефолтов вам подходит, а что вредит. И проверить это можно только на своих данных — «так принято» тут не аргумент.

https://habr.com/ru/articles/1063026/

#rag #rag_система #rag_техники #rag_pipeline #rag_ai #retrievalaugmented_generation #retrival_augumented_generation #retrieval_augmented_generation

Локальная RAG-система на Go, PostgreSQL и Ollama без облачных API

RAG уже стал стандартным способом научить LLM работать с собственными документами без дорогостоящего дообучения. Но за кажущейся простотой скрывается множество практических вопросов: как разбить документы на чанки, где хранить эмбеддинги, как организовать быстрый семантический поиск и какую модель использовать на каждом этапе. В статье соберем полностью локальную RAG-систему на Go, PostgreSQL и Ollama без облачных API и сторонних сервисов. Разберем весь путь — от индексации документов до получения ответа LLM на основе найденного контекста.

https://habr.com/ru/companies/first/articles/1062546/

#RAG #RetrievalAugmented_Generation #Go #golang #PostgreSQL #Ollama #эмбеддинги #векторный_поиск #локальные_модели #llm

Как AI видит ваш сайт и почему Бизнесу надо это знать

TL;DR: RAG-поиск (Retrieval-Augmented Generation, генерация с подкреплением поиском) – это механизм, при котором AI сначала находит релевантные куски текста на сайтах, а потом уже формулирует ответ на их основе. Модель не знает про ваш сайт заранее – она видит его ровно в момент запроса, если ваш контент выиграл конкурс "какой кусок текста ближе всего по смыслу к вопросу пользователя". Дальше в статье – как именно AI решает, нужен ли поиск, что происходит с найденным текстом и что реально управляет тем, увидит ли AI ваш сайт вообще. Ваш сайт хорошо индексируется в Google, трафик стабильный, а в ответах ChatGPT или Google AI Overview вас просто нет. При этом конкурента с текстом в два раза хуже – цитируют. Знакомая ситуация?

https://habr.com/ru/articles/1059640/

#RAGпоиск #RetrievalAugmented_Generation #генеративный_поиск #ранжирование_AI #векторный_поиск #релевантность_контента #оптимизация_под_ИИпоисковики #индексация_сайтов #алгоритмы_LLM

Как мы создавали «умный» поиск по регламенту вуза

Я преподаю на кафедре информационных технологий и больше двадцати лет пишу код. Однажды эти две роли сошлись в проекте, который я затеял для себя: надоело каждый раз лезть на сайт вуза за собственным расписанием — и я сделал бота в MAX, который отвечает расписанием на «что у меня сегодня?». Бот прижился, оброс командой из трёх человек и дорос до вопросов, которых в расписании нет вовсе: как перевестись, восстановиться, что со стипендией и общежитием. То есть до вопросов к регламенту вуза — документу на сотни страниц. Так начался умный поиск по документам, он же RAG.

https://habr.com/ru/articles/1056304/

#rag #retrievalaugmented_generation #эмбеддинги #векторный_поиск #семантический_поиск #llm #гибридный_поиск #чатбот #max_мессенджер #ииассистент

Как научить языковую модель читать транзакции: превращаем историю платежей в базу знаний

Меня зовут Дмитрий Валов, я тимлид команды «Инструменты для банка (агенты)» в Sber AI Lab — Центре практического искусственного интеллекта Сбера. Большие языковые модели (LLM) научились отвечать на вопросы, писать код и анализировать документы. Логично спросить: «А может ли одна универсальная модель заменить зоопарк специализированных систем, которыми банк описывает своих клиентов?» Сегодня под каждую задачу — отток, кредитный риск, NBA — заводится отдельный пайплайн: свой набор фичей поверх истории транзакций, своё обучение, свои перетренировки при каждом изменении. Данные об одном и том же клиенте растаскиваются по разным системам и плохо переиспользуются. Сложнее всего — сопровождение и актуализация: стоит появиться новому источнику или фиче, как модель приходится переобучать, иначе она просто не умеет ими пользоваться. LLM выглядит идеальным кандидатом на роль единого интерфейса к этим данным: данные переводятся в текст, и новый источник достаточно дописать в промпт на инференсе, без переобучения. Но есть проблема: если просто скормить модели историю транзакций, она справляется заметно хуже специализированных моделей. В нашей работе FinTRACE мы разобрались, почему так происходит, и предложили способ это починить — не дообучая модель на огромных размеченных датасетах, а перестраивая то, что именно мы ей показываем. Статья принята на SIGIR 2026 .

https://habr.com/ru/companies/sberbank/articles/1049018/

#машинное_обучение_и_нейросети #llm #rag #retrievalaugmented_generation #транзакции #knowledge_base #антифрод #sber_ai_lab #эмбеддинги #finance

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)

Юридический домен требует понимания многочисленных связей между сущностями, рассеянными по множеству документов. Поэтому кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний: связи между нормами, прецедентами и понятиями, рассеянными по тысячам документов, наконец-то перестают теряться. Современные фреймворки обещают построить такой граф автоматически, в пару команд. Но между "запуском из коробки" и рабочей аналитической системой на практике лежит немалая дистанция. Это вторая часть практического эксперимента с LightRAG . Разбираем, как оптимизировать "сырой" граф "из коробки" ( подробно рассмотрели сам фреймворк, а также провели топологический анализ в первой части ) без переиндексации, что показал анализ топологии и центральностей итогового графа, и проверяем на реальных юридических запросах — дает ли RAG-система, построенная на графе знаний, преимущество перед векторным RAG, и где проходят границы этого преимущества.

https://habr.com/ru/articles/1046870/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #lightrag

RAG в энтерпрайзе: почему демо работает, а прод нет

Представьте себе типичное совещание. Кто-то из руководства возвращается с конференции, садится напротив и говорит: «У них там бот по внутренней документации, надо себе такой же. До конца квартала». Через четыре месяца у тебя есть Pinecone, OpenAI API, две недели работы над парсингом PDF и чат-бот, который на демо отвечает на пять подобранных вопросов идеально. А на шестой, который задаст любой нормальный сотрудник, отвечает уверенным бредом. Дальше про то, что именно между этими двумя состояниями происходит. Но без «правильной архитектуры RAG», потому что такой не существует.

https://habr.com/ru/articles/1038670/

#RAG #LLM #retrievalaugmented_generation #векторные_базы_данных #эмбеддинги #чанкинг #корпоративный_поиск #галлюцинации_LLM #OpenAI #Pinecone

Графы знаний в юридическом домене: эксперимент с LightRAG

Юридический домен требует понимания многочисленных связей между сущностями, рассеянными по множеству документов. Поэтому кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний: связи между нормами, прецедентами и понятиями, рассеянными по тысячам документов, наконец-то перестают теряться. Современные фреймворки обещают построить такой граф автоматически, в пару команд. Но между "запуском из коробки" и рабочей аналитической системой на практике лежит немалая дистанция. Это первая часть практического эксперимента с LightRAG, одним из самых известных графовых фреймворков. На небольшом корпусе из Гражданского кодекса РФ и судебной практики разбираем, как фреймворк устроен, как его быстро развернуть, и почему граф из "коробки", без оптимизации и тонкой настройки, при всей внешней убедительности, еще не готов к полноценной работе в юридическом домене.

https://habr.com/ru/articles/1036652/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #lightrag

Как Vision-Language Models учатся работать с 3D-миром

Привет, Хабр! Сегодня поговорим о том, как роботы работают с предметами в реальной жизни. Современные роботы умеют выполнять множество простых операций, но терпят катастрофический провал в задачах, требующих понимания трехмерных пространственных отношений и физической осуществимости действий. Попробуем разобраться, как с помощью vision-language models (VLM) роботы учатся работать с предметами в пространстве.

https://habr.com/ru/companies/ru_mts/articles/1035508/

#VLM #VisionLanguage_Models #робототехника #компьютерное_зрение #3Dмоделирование #spatial_reasoning #retrievalaugmented_generation #NVIDIA #манипуляторы #искусственный_интеллект

ИИ без иллюзий: почему большие языковые модели ошибаются, даже когда знают ответ

Всем привет! Меня зовут Шабашев Валерий. Я работаю Python-разработчиком в ТехВилле и параллельно занимаюсь научной деятельностью в аспирантуре, где исследую поведение языковых моделей, концептуальный дрейф и методы адаптации моделей к новым данным. В этой статье я хочу поделиться не просто популярным обзором возможностей искусственного интеллекта, а разобрать реальные ограничения современных LLM с опорой на актуальные исследования и практический опыт. За последние несколько лет большие языковые модели (LLM) стали активно применяться в различных областях, где требуется работа с текстовой информацией. Они умеют генерировать тексты, анализировать данные и даже помогать в принятии решений. При этом ключевой вопрос сегодня уже не в том, что модель знает, а в том, как она использует эти знания. При более глубоком анализе становится очевидно: между доступом к информации и способностью корректно рассуждать лежит серьёзный разрыв. Даже имея на входе качественные данные, модели могут допускать логические ошибки, игнорировать важный контекст и делать выводы, которые не следуют из исходной информации. И именно это сегодня становится ключевой проблемой - не недостаток знаний у модели, а отсутствие надёжного механизма проверки и верификации рассуждений.

https://habr.com/ru/companies/vkusvill/articles/1015166/

#вкусвилл #искусственный_интеллект #исследование #llm #rag #большие_языковые_модели #правовой_анализ #retrievalaugmented_generation

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

[Перевод] Как оценивать RAG-системы: метрики, методы и что измерять в первую очередь

Когда RAG-система дает сбой, по финальному ответу почти невозможно понять, где именно произошла ошибка. Генерация с дополнением через поиск – один из базовых паттернов работы с контекстом в LLM-приложениях: он расширяет знания модели за счет поиска, но одновременно усложняет диагностику. В результате без внятной системы оценки любые проблемы выглядят одинаково – как «неверный ответ». В этом материале разберем, что именно стоит измерять в RAG-конвейере, какие метрики действительно помогают находить причину сбоев и как выстроить оценку так, чтобы она показывала не факт ошибки, а ее источник. Разобраться

https://habr.com/ru/companies/otus/articles/1011464/

#RAG #retrievalaugmented_generation #оценка_LLM #метрики_качества #галлюцинации_моделей #информационный_поиск #эмбеддинги #ранжирование_документов #AIархитектура

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

RAG — это главное. Почему специализированные LLM реже галлюцинируют

Когда закрылся Skype , этого почти никто уже и не заметил. Хотя сервис когда-то был синонимом термина «видеосвязь». Но потом видеозвонки внедрили везде — в браузеры, мессенджеры, корпоративный софт, экосистемы, а Skype не успел адаптироваться... Возможно, с LLM происходит нечто подобное. Универсальные LLM впечатляют глубиной эрудиции — но для решения конкретных проблем совершенно непригодны. Хотя они быстро и уверенно отвечают на вопросы, выдавая целые «портянки» текста, часто эти ответы представляют собой галлюцинации или «воду», с выдуманными ссылками.

https://habr.com/ru/articles/977260/

#RetrievalAugmented_Generation #rag #ретривер #чанки #эмбеддинги #корпоративные_данные #copilot #gemini #llm #алиса_про

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области. Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента.

https://habr.com/ru/companies/otus/articles/946354/

#RAG #retrievalaugmented_generation #LLM #Large_Language_Models #Эмбеддинги #Векторные_базы_данных #Векторные_хранилища #Индексация #Ранжирование

Law & Practice Ensemble RAG. Как создать ассистента, помогающего решать многоаспектные юридические задачи

Большие языковые модели ( LLM ) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями , снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных.

https://habr.com/ru/companies/otus/articles/946012/

#RAG #RetrievalAugmented_Generation #llm #Large_Language_Models #языковые_модели #трансформеры #finetuning #эмбеддинги #dense_retrieval

[Перевод] Agentic RAG: создание более умных ИИ-систем, понимающих контекст

Команда AI for Devs подготовила перевод статьи о новом подходе — Agentic RAG. Он превращает извлечение данных в активный процесс: агенты сами решают, где искать, как уточнять запросы и когда остановиться. В результате ИИ становится гибче, точнее и действительно готовым к "боевым" задачам.

https://habr.com/ru/articles/942278/

#Agentic_RAG #RetrievalAugmented_Generation #mcp #model_context_protocol #корпоративные_системы