#rag_техники — Public Fediverse posts

Как я собрал антискам‑бота на грязных данных: детектор, типизатор и грабли по дороге

В первой статье я разбирал RAG-модуль этого проекта и главный вывод — что RAG оказался про замеры, а не про код. Здесь — про то, как устроена вся система вокруг него: классификатор, который решает, кому вообще нужна помощь, определитель типа проблемы и архитектура, которая всё это связывает. Эта статья скорее про ML-инженерию на реальных, грязных данных, чем про RAG. Про то, как собрать рабочий классификатор, когда у тебя нет размеченного датасета, метрики врут, а данные — это поток из телеграм-чатов с опечатками, сленгом и тремя языками вперемешку. Цифры все реальные, из рабочих логов.

https://habr.com/ru/articles/1063028/

#rag #rag_ai #rag_pipeline #rag_система #rag_техники #retrievalaugmented_generation #retrieval_augmented_generation

RAG — это про замеры, а не про код. История одного бота, где почти всё «правильное» сделало хуже

Есть жанр статей про RAG, который выглядит так: подключаем векторную базу, берём эмбеддер, сверху реранкер, для верности — гибридный поиск с BM25, и вот у нас продакшн-ready система. Двадцать строк кода, стрелочки на схеме, всё летает. Я прошёл этот путь до конца на реальных данных. И почти каждое «правильное» улучшение из этого списка на моих данных сделало хуже . BM25 уронил метрику. Реранкер уронил метрику. Дважды, в двух разных конфигурациях. Единственное, что реально помогло, — не код, а несколько дней возни с данными и замерами. Это не статья «RAG не работает». RAG работает. Это статья о том, что настоящая работа в RAG — не в коде, который пишется за день, а в eval-харнессе, чистке корпуса и честных замерах, которые показывают, что из индустриальных дефолтов вам подходит, а что вредит. И проверить это можно только на своих данных — «так принято» тут не аргумент.

https://habr.com/ru/articles/1063026/

#rag #rag_система #rag_техники #rag_pipeline #rag_ai #retrievalaugmented_generation #retrival_augumented_generation #retrieval_augmented_generation

Когда RAG на горе свистнет: архитектура, метрики оценки и практика тестирования в ПСБ

Одна из ключевых проблем ИИ — склонность к «галлюцинациям», то есть к генерации убедительно звучащих, но ложных ответов. Яркий пример на картинке :) Как это можно исправить или улучшить? Есть разные способы. Одно из самых простых решений, позволяющих значительно повысить точность и достоверность ответов, — RAG (Retrieval Augmented Generation). Это генерация с дополненной выборкой. Меня зовут Михаил Костецкий, я управляющий эксперт отдела обеспечения качества в ПСБ. Мы в коллегами сейчас тоже пробуем использовать технологию RAG в разных задачах — в своей статье я хочу поделиться этим опытом. Буду рад, если моя статья станет полезна тем, кому предстоит работать с методом.

https://habr.com/ru/companies/psb/articles/1016724/

#rag #ragas #rag_система #rag_техники #оценка_rag #оценка_качества

[Перевод] DAT: новый способ гибридного поиска в RAG с динамической настройкой альфа-параметра

Привет, Хабр! Недавно у меня появилась задача - собрать RAG-систему для интернет-энциклопедии. В поисках решения я вышел на новый подход к гибридному RAG - “ DAT: Dynamic Alpha Tuning for Hybrid Retrieval in Retrieval-Augmented Generation ” (Динамическая настройка Альфа-параметра для гибридного поиска в RAG). Поиск по Хабру и Рунету показал, про подход DAT на русском языке еще не рассказывали, поэтому спешу поделиться находкой с вами и обсудить преимущества и недостатки этого метода. Эта статья - упрощённый пересказ научной работы. Материал будет интересен как продвинутым, так и начинающим разработчикам RAG-систем.

https://habr.com/ru/articles/970594/

#DAT #RAG #Hybrid_RAG #Dynamic_Alpha_Tuning #llm #rag_техники #rag_система

Документный хаос? RAG-система придёт на помощь

Статья описывает практическую реализацию системы Retrieval-Augmented Generation (RAG) для превращения документов в интерактивную базу знаний. Показано, как хранение эмбеддингов в Qdrant и интеграция с языковой моделью (LLM) позволяют быстро получать точные ответы на вопросы. Рассматриваются архитектура, ключевые компоненты и внутренние механизмы работы системы, полезные для разработчиков и новичков в области RAG.

https://habr.com/ru/articles/955768/

#rag #ai_assistant #ai_agent #rag_система #rag_pipeline #rag_техники #rag_ai #document_management #python

Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 2

В прошлой части мы подробно разобрали 11 популярных техник RAG: как они устроены, какие у них есть сильные и слабые стороны, и в каких сценариях они могут быть полезны. Теперь пришло время перейти от теории к практике и посмотреть, как эти подходы показывают себя в деле. В этой статье мы посмотрим на результаты экспериментов: какие техники оказались наиболее эффективными на датасете Natural Questions, где они приятно удивили, а где — наоборот, не оправдали ожиданий. Для оценки будем использовать фреймворк RAGAS , а также метрики BertScore и ROUGE-2 для анализа релевантности извлечённых чанков и финальных ответов. Поэтому впереди нас ждут эксперименты, цифры, наблюдения и (надеюсь) ценные инсайты, которые помогут вам не просто понять, какая техника кажется хорошей, а выбрать оптимальную под вашу задачу.

https://habr.com/ru/articles/949124/

#Rag #rag_техники #retrieval_augmented_generation #сравнение_rag_техник #ragas #bertscore #rouge

Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 1

При про­ектировании RAG-системы инженер каждый раз сталкивается со множеством вопросов: какую базу данных использовать, как организовать получение релевантной информации, да даже выбор эмбеддера может занять приличное время, а это лишь вершина айсберга. Что хорошо работает в одной сфере, например в техподдержке, может полностью провалиться в другой — например, при анализе юридических документов. Поэтому задачей инженера является выявление особенностей предметной области и адаптации RAG системы к ним. Однако, чтобы это сделать, необходимо не только понимать, какие приёмы можно использовать, но и знать насколько они эффективны. В данной статье мы разберём основные RAG техники, посмотрим их сильные и слабые стороны, сферы применения, а также немного поэкспериментируем. В следующей части статьи мы проведём тестирование этих техник на реальных пользовательских запросах из датасета Natural Questions и оценим качество работы с помощью RAGAS и BertScore, посмотрим на графики и разойдёмся, чтобы обдумать всё написанное. Поэтому предлагаю начать!

https://habr.com/ru/articles/946888/

#RAG #RAG_Техники #retrieval_augmented_generation #Сравнение_RAG_техник #bertscore #ragas