#векторный_поиск — Public Fediverse posts

RAG-бот по материалам эксперта: как я мерил качество поиска и почему гибрид оказался хуже чистого вектора

Эксперт попросил бота, который отвечает его голосом и только по его собственным материалам: курсам в PDF, расшифровкам видео и записям занятий. Если ответа в материалах нет, бот должен честно отправить человека к живому эксперту, а не придумывать. Я собрал такого бота на Python и Telegram, и больше всего времени ушло не на промпты, а на поиск: на первых же живых вопросах выяснилось, что бот просто не находит нужный материал. В статье я расскажу, как устроен поиск в этом боте, как я построил стенд для замера (метрики recall@6 и MRR), почему гибридный поиск, который все советуют, у меня проиграл чистому векторному, и что пришлось поменять, когда упёрся в лимиты провайдера эмбеддингов. Заказчик согласился на публикацию только без имён, поэтому эксперт, его материалы и тема здесь не названы, а примеры вопросов в статье придуманы мной и к его текстам отношения не имеют. Код ниже взят из рабочих файлов, лишнее я убрал.

https://habr.com/ru/articles/1091058/

#python #mrr #recall #telegramбот #эмбеддинги #rag #векторный_поиск

[Перевод] Искали носки, получили брюки: сравнили шесть способов поиска на одном каталоге

Искали носки, получили брюки: сравнили шесть способов поиска на одном каталоге Проверили полнотекстовый, векторный, гибридный, поиск по фото, геопоиск и AI на 82 524 товарах. Показываем, где они ошибаются, что находят и какой SQL стоит за результатами.

https://habr.com/ru/articles/1098336/

#полнотекстовый_поиск #поиск_по_изображениям #векторный_поиск #гибридный_поиск #manticore_search

RAGу для программиста

Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода: - fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели: -- ресурсы на fine-tuning в случае on-prem решения, -- дополнительные средства за дообучение модели по подписке. - RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста. Так как я программист, а не Data Scientist, то предпочитаю понятные, переносимые вне зависимости от способа размещения модели, подходы, поэтому мой выбор — RAG.

https://habr.com/ru/companies/skbkontur/articles/1095364/

#искусственный_интеллект #python #обработка_данных #llm #rag #векторный_поиск #сезон_код_будущего #autorag

[Перевод] Пересчёт расстояний в KNN-поиске: сокращаем разрыв между колоночным и построчным хранением

Почему при стандартных настройках KNN-поиска пересчёт расстояний при колоночном хранении векторов работал медленнее, чем при построчном, и как Manticore почти убрал эту разницу, сохранив скорость поиска по данным, которые не помещаются в память.

https://habr.com/ru/articles/1090306/

#Manticore_Search #KNN #HNSW #mmap #колоночное_хранение #векторный_поиск

ColBERT, MUVERA и скучная идея, которая оказалась выгоднее обеих

Есть особый жанр разочарования, знакомый каждому, кто занимался поиском всерьёз: читаешь статью, где новый метод обходит старый на несколько пунктов, воспроизводишь всё у себя и видишь совсем другую картину. С ColBERT и MUVERA у меня вышло именно так: на обычных текстах обещанного прироста почти не было, зато по дороге выяснилось, где эти методы действительно работают, а где нет. Добраться до них пришлось почти случайно. Мне попалась статья о MUVERA, реализация которой уже появилась в экосистеме Qdrant. С Qdrant я работаю давно и как раз готовил по нему практический курс, поэтому решил разобраться и с этой частью поиска, тем более что рассказывать о механизме, который сам ни разу не запускал, было бы странно. Первым делом я просто проверил всё на практике. Дальше началась история о том, почему результаты оказались совсем не такими, как я ожидал. По дороге не обошлось без собственных ошибок, и каждая из них, как ни странно, постепенно приближала к ответу. А сам ответ оказался заметно скучнее, чем хотелось бы, но от этого, пожалуй, только полезнее.

https://habr.com/ru/articles/1089872/

#rag #qdrant #векторный_поиск #colbert #muvera

50 лет эволюции поиска по коду: что под капотом кодинговых агентов

Когда мы просим Claude Code, Codex или Cursor «починить воот эту функцию», то сначала надо понять, где этот код вообще находится. В каком файле? В какой функции? Как она называется и кто её вызывает? Через какие еще системы пролетают байтики наших данных? За последние полвека для этой задачи придумали огромное количество инструментов: grep , текстовые индексы, полнотекстовый поиск, ctags, LSP, AST, анализ потоков данных, графы, поиск по смыслу и многое другое. Самое забавное, что весь зоопарк с нами и почти ничего из этого не умерло. В 2026 году поиск по коду в лучших кодинговых агентах по-прежнему состоит из алгоритмов и технологий, которым пять, десять, тридцать, а иногда и больше пятидесяти лет (grep вышел в 1973 году!). И в этой огромной статье я расскажу об эволюции этих технологий, истории и философии их создания, решаемых проблемах и способе работы. Погнали!

https://habr.com/ru/articles/1089460/

#grep #ripgrep #векторный_поиск #llm #языковые_модели #поиск #search #ast #lsp

Запустили полнотекстовый и гибридный поиск в YDB: рассказываем, что под капотом

Привет, Хабр! Меня зовут Александр Зевайкин, и мы с командой делаем YDB (СУБД Яндекса). Год назад я рассказывал на Хабре, как мы запустили векторный поиск , а весной — как он используется в Нейроюристе для поиска по миллионам юридических документов. В релизе 26.3 к векторному поиску добавились полнотекстовый поиск с ранжированием и гибридный поиск, который объединяет оба вида поиска в одном SQL-запросе. Кроме того, мы доработали фильтруемый векторный индекс. Зачем нужны оба вида поиска, хорошо видно на примере. Страховой юрист ищет «выплаты по полису 7702-345678 при переносе рейса». Номер полиса нужно найти слово в слово, а описание случая — понять по смыслу. Полнотекстовый поиск справляется с первой половиной задачи и не справляется со второй, векторный — наоборот. Прежде чем перейти к статье, я хочу пригласить вас на вебинар «

https://habr.com/ru/companies/ydb/articles/1087208/

#ydb #rag #векторный_поиск #векторный_индекс #полнотекстовый_поиск #полнотекстовый_индекс #гибридный_поиск #поиск #индекс

pgvector, Qdrant или Milvus: как выбрать базу для RAG и не усложнить архитектуру

На демо все выглядит безобидно: загружаем документы, строим эмбеддинги, подключаем векторный поиск — и RAG уже отвечает на вопросы. А потом поиск тормозит, после фильтрации пропадают результаты, а команда внезапно тратит все силы на систему, которая слишком велика для проекта. Разберу, когда для векторного поиска достаточно PostgreSQL с pgvector, зачем выносить его в Qdrant и в каких случаях сложная архитектура Milvus действительно оправдана.

https://habr.com/ru/companies/cloud_ru/articles/1086530/

#rag #vector_search #rag_система #portgresql #milvus #qdrant #векторный_поиск #поисковые_системы #поисковые_технологии #search

Как мы научили ИИ-агента понимать чужую кодовую базу: вместо чанков — три источника фактов

Мы — разработчики MetaVision for 1C: AI, программы для статического анализа конфигураций 1С с ИИ-агентом. Столкнулись с классической проблемой RAG: на реальных кодовых базах схема «чанки + embeddings + векторный поиск» почти не работает — агент уверенно отвечает «такого нет» там, где это есть. Рассказываем, почему чанки провалились на коде, и что мы построили вместо них: три источника фактов в одной SQLite — SQL-индекс, полнотекстовый FTS5 и вектора — плюс граф вызовов со скрытыми связями. С живыми примерами и граблями, на которые наступили.

https://habr.com/ru/articles/1086582/

#rag #векторный_поиск #llm #toolcalling #fts5 #ииагент #статический_анализ_кода #1с #metavision #Хорошулин_Андрей

Гибридный RAG на Налоговом кодексе: восемь находок, семь потерь

守 (Сю) — это про то, как, сохранив себя, достичь своей лучшей версии. При чём здесь RAG? Да при том, что, прежде чем рваться к агентным RAG и GraphRAG, надо разобраться с базой — довести до ума уже имеющиеся формы, чтобы получить качественную систему. Привет, меня зовут Бромбин Андрей. Сегодня на примере Налогового кодекса я покажу путь от базового RAG к гибридному поиску и реранкингу: где каждый следующий шаг действительно повышает качество, а где лишь усложняет систему. Все выводы я проверил на воспроизводимом стенде: 240 вопросов из FAQ ФНС, три способа поиска и отдельный прогон реранкера.

https://habr.com/ru/companies/ruvds/articles/1050162/

#rag #hybrid_search #reranking #векторный_поиск #эмбеддинги #retrieval #spring_ai #nlp #java #ruvds_статьи

Векторный поиск: деплой без GPU на Triton Inference Server

Перед каждым ML-разработчиком, после обучения прекрасной модели, которая поднимет бизнесу метрики, а тебе годовую премию, возникает вопрос: а как ее задеплоить в сервисе, чтоб она начала работать? А ты пошел отдыхать.

https://habr.com/ru/companies/magnit/articles/1083418/

#Triton_Inference_Server #векторный_поиск #инференс #эмбеддинги #ONNX #деплой #cpu #машинное_обучение #MLOps #оптимизация_производительности

Как я научил LLM читать чужую кодовую базу, вместо того чтобы галлюцинировать API

Разбор архитектуры ИИ-агента для статического анализа кода: локальный индекс на SQLite, 71 инструмент, цикл tool-calling на 30 ходов и валидаторы, которые мы написали и сами же сняли, потому что они ложно срабатывали на валидных файлах.

https://habr.com/ru/articles/1086266/

#ии #toolcalling #llm #статический_анализ_кода #1с #sqlite #rag #векторный_поиск #вайбкодинг #нейросети

Почему RAG не умеет в Excel

Треть нашей базы знаний лежит в выгрузках Excel, и на них ассистент отвечает хуже всего. Разбираем, что теряется по дороге от ячейки до индекса и почему строка таблицы всегда проигрывает абзацу из PDF.

https://habr.com/ru/articles/1086194/

#RAG #векторный_поиск #BM25 #эмбеддинги #чанкинг #парсинг_Excel #openpyxl #база_знаний #корпоративный_поиск #LLM

RAG умер, да здравствует RAG: история одного Reranker и как мы оживили нейропоиск среди 35 000 страниц

Привет, Хабр! На связи Саша Михеев, ML-инженер Центра гибридного интеллекта в Рунити. В прошлой статье мы рассказывали, как строим корпоративного RAG-ассистента. На небольшой выгрузке Confluence поиск выглядел вполне прилично. Но когда корпус вырос почти до 35 тысяч страниц и 80 тысяч чанков, наверх всё чаще стали попадать документы, похожие по теме, но не отвечающие на конкретный вопрос. Мы пошли проверять привычные гипотезы: поменяли способ выгрузки Confluence, усложнили чанкирование, вынесли код в отдельные вектора, попробовали более крупную embedding-модель и добавили структурный граф. Почти ничего из этого не решило проблему. Главная подсказка пришла из метрик: нужный материал в большинстве случаев уже находился, но стоял слишком низко. В итоге лучший прирост дал не еще один retrieval-канал, а reranker.

https://habr.com/ru/companies/runity/articles/1086162/

#rag #reranker #crossencoder #embeddings #векторный_поиск #dense #sparse #rrf #llm #нейропоиск

Собираем приватный RAG-стек на pgvector

Собираем приватный RAG-стек на pgvector, где документы, поиск и генерация ответа остаются внутри вашего VPS. Разберём схему стенда, embeddings, pgvector, локальную LLM, проверку прав доступа, качество поиска, HNSW/IVFFlat, журналы и резервное восстановление.

https://habr.com/ru/articles/1085468/

#RAG #pgvector #PostgreSQL #векторный_поиск #embeddings #локальная_LLM #selfhosted_RAG #Ollama #HNSW #информационная_безопасность

Почему ваша LLM тупеет на больших документах и как ее починить

Большой контекст LLM не гарантирует качественных ответов: при работе с объёмными документами модель может терять важные детали и хуже находить нужные факты внутри текста. В статье разбираемся, почему Full‑Context и базовый RAG сталкиваются с ограничениями, и как подход Semantic Gatekeeper помогает повысить точность ответов за счёт подготовки релевантного контекста перед передачей его основной модели. Разобрать подход

https://habr.com/ru/companies/otus/articles/1079804/

#LLM #RAG #большие_языковые_модели #искусственный_интеллект #машинное_обучение #эмбеддинги #векторный_поиск #обработка_документов #промптинжиниринг #AIагенты

Как ускорить ИИ-агента с RAG в проде и не слить бюджет: кэшируем ответы на примере ИИ-консультанта

Как ускорить ИИ-агента с RAG в проде и не слить бюджет: на примере ИИ-консультанта Статья будет полезна инженерам, продактам и всем неравнодушным, кто хочет разбираться в теме чуть глубже, чем обычный пользователь. А поговорим мы сегодня о том, с какими проблемами такие агенты живут в продакшене, на что жалуются пользователи и как бороться с главной болячкой — скоростью.

https://habr.com/ru/articles/1084428/

#RAG #ИИ #ИИконсультант #LLM #ИИагенты #эмбеддинги #векторный_поиск #ecommerce #AI_в_продукте #сезон_код_будущего

[Перевод] Улучшенный векторный поиск по длинным документам: чанкинг внутри Manticore Search

Модель эмбеддингов читает только первые несколько сотен токенов документа, а остальное молча отбрасывает. Теперь Manticore Search сам разбивает длинные документы при INSERT: добавьте chunk_strategy к векторному столбцу и выберите одну из пяти стратегий. Без конвейера загрузки и библиотек для разбиения текста. На нашей документации recall@5 для текста за пределами окна модели вырос с 55% до 83%.

https://habr.com/ru/articles/1082760/

#Manticore_Search #векторный_поиск #эмбеддинги #чанкинг #семантический_поиск

Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов

Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым алгоритмом «под капотом» могут решать эту задачу с разной эффективностью: пропускная способность (QPS) и задержки могут сильно различаться из-за накладных расходов движка хранения и модели блокировок. И для бизнеса эта разница может обернуться лишними затратами на инфраструктуру или деградацией UX в пиковые часы. Поэтому к этим параметрам нередко предъявляются особые требования. Привет, Хабр. Меня зовут Георгий Белянин. В статье я разберу архитектуру векторного поиска в Tarantool и приведу результаты сравнения скорости вставки и запросов с Qdrant и pgvector.

https://habr.com/ru/companies/vktech/articles/1080978/

#Tarantool #Qdrant #pgvector #векторные_базы_данных #векторный_поиск #ANNпоиск #HNSW #эмбеддинги #бенчмарки #vk_tech

[Перевод] Manticore Search 29.9.0: chunked auto-embeddings и mmap-доступ к columnar-атрибутам

Manticore Search 29.9.0: chunked auto-embeddings и mmap-доступ к columnar-атрибутам Manticore Search 29.9.0 добавляет chunked и multi-vector auto-embeddings, ограничение входа для embedding-моделей, UTF-8 идентификаторы, mmap-доступ к columnar-атрибутам по умолчанию, а также исправления для hybrid search, KNN, bulk ingestion и группировки.

https://habr.com/ru/articles/1081448/

#Manticore_Search #векторный_поиск #embeddings #KNN #базы_данных

«Спорт, борщ, крипта»: как мы проверяли, работают ли интересы в рекомендательной системе

Пользователь пишет интересы текстом, мы делаем из них один эмбеддинг. Работает он как монета (ROC-AUC 0.52), а на коротких интересах 0.41, то есть хуже случайного порядка. Прогнали шесть вариантов починки и подняли до 0.80. Рассказываю, что сработало, а что нет. Что показали цифры

https://habr.com/ru/articles/1077866/

#рекомендательные_системы #эмбеддинги #ROCAUC #векторный_поиск #персонализация #cold_start #pseudorelevance_feedback #NDCG #telegram_bot

Полнотекстовый поиск всё ещё работает. Просто он не доходит до ответа

Первоначально опубликовано Klim Todrik на https://manticoresearch.com/ru/blog/conversational-search/ 20 августа 2026

https://habr.com/ru/articles/1073866/

#Manticore_Search #полнотекстовый_поиск #векторный_поиск #гибридный_поиск #диалоговый_поиск

GigaChat 2 Max с памятью на связях обходит Claude Opus 5 без неё: замер семи моделей

На классе задач «в работе всплыла проблема — каким изменением её уже чинили» GigaChat 2 Max с памятью на связях отвечает верно в 57% случаев, YandexGPT Pro 5.1 — в 61%, а Claude Opus 5 с обычным поиском — в 41% . Модели никто не трогал: разница целиком в том, доехал ли до модели нужный факт в контексте. В статье приведены замеры, рассуждения, направления применения и выводы со ссылками на проверочные и связанные материалы.

https://habr.com/ru/articles/1073448/

#GigaChat #YandexGPT #Claude #LLM #RAG #векторный_поиск #эмбеддинги #ИИагенты #память_ИИагента #opus

Как я улучшил векторный поиск в YDB

В распределённой СУБД YDB (читается вай‑ди‑би ) векторный поиск по kmeans‑tree индексу раскрывался оптимизатором в цепочку из нескольких стадий StreamLookup . Это работало, но порождало большие планы запросов и существенно затрудняло оптимизации самого поиска. Я заменил эту цепочку одним специализированным read‑актором TKqpVectorSearchActor , который берёт всю логику обхода индекса под свой контроль, а не размазывает её по независимым стадиям.

https://habr.com/ru/articles/1072032/

#ydb #c++ #базы_данных #векторный_поиск #векторный_индекс

Как мы сделали бота-консультанта: нейросети и машинное обучение

Одно из важнейших направлений нашего бизнеса – разработка программ для автоматизации бизнес-процессов, управления и учёта предприятий и организаций. А одна из наших главных обязанностей перед пользователями наших продуктов – предоставлять им техподдержку, отвечать на вопросы – как использовать наши продукты для различных бизнес-процессов и в соответствии с текущим законодательством и нормативами. Для этого у нас есть сервис с базой знаний, называется ИТС (информационно-технологическое сопровождение). На сегодня у нас есть 30+ программных продуктов и документация по ним. А ещё есть постоянно пополняемая база нормативных документов. Идеальная схема процесса: 1. Пользователь задает вопрос в привычной ему форме, например: - Как в 1С драйв начислить бонусные баллы покупателю - Налоговая реформа 2025 - Розница 2.3 настроить продажу разливного пива 2. И получает ответ - При необходимости – пошаговую инструкцию: что и как нужно сделать в программном продукте для работы требуемой функциональности. - Выдержки из нормативных документов, относящихся к заданному вопросу, со ссылками на исходный текст этих документов. На заре времен все подобные вопросы решались на уровне телефонной техподдержки с живым экспертом на нашем конце провода. Потом поддержка в основном перешла в онлайн-чат с тем же экспертом у монитора-клавиатуры. С появлением и взрослением ИИ логичным шагом стал переход с живого эксперта на ИИ-бота. Как мы его сделали, как обучали, как организовали интеллектуальный поиск по базе документов, почему и как задействовали векторный поиск – под катом.

https://habr.com/ru/companies/1c/articles/1071142/

#ии #ииассистент #ии_чатбот #ии_помощник #машинное+обучение #векторный_поиск

От LLM-портала до фабрики внутренних агентов: как в Авито строят корпоративного ассистента «Виталик»

По данным McKinsey, к концу 2025 года 71% компаний пробовали интегрировать искусственный интеллект как минимум в один из бизнес-процессов. Звучит мощно, но по отчётам MIT из всех пилотов в реальный продакшн переезжают около 5%. Разрыв между демо и реальностью заключается в том, что продакшн-готовое решение должно отвечать на сложные вопросы: - как из множества разносторонних источников выбрать ту информацию, которая приведёт к успешному выполнению процесса? - как обогатить языковую модель инструментами, при помощи которых она может довести процесс до конца? - как оценить качество траектории, по которой движется модель, пока решает задачу? Мы нашли ответы на эти вопросы с помощью системы, которая постепенно превращает внутренние знания и процессы Авито в корпоративных агентов. Расскажу про неё подробнее. Привет! Меня зовут Никита, я старший DS-инженер в Авито . В этой статье расскажу, как мы строили «Виталика» — нашу корпоративную экосистему ИИ-агентов. Отвечу на три главных вопроса: как процесс становится агентом, как сделать систему production-ready и куда развивать её дальше. Статья будет полезна ML-инженерам, AI-архитекторам и техническим лидам, которые строят агентные системы на базе LLM в корпоративной среде.

https://habr.com/ru/companies/avito/articles/1071126/

#ai #llm #agent #automation #claude #machinelearning #aiагенты #оркестрация_агентов #векторный_поиск #промптинжиниринг

Винни-Пух в 768 измерениях: семантический поиск Codex Pets на YDB

В многомерном пространстве найти Винни-Пуха можно даже не зная его имени. В запросе “тревожный коричневый медведь из старого мультфильма” нет ни одного слова из имени или описания питомца, но гибридный поиск по словам и векторам всё равно выдает его первым. Показываю, как Codex Pets превращает текст и кадры анимации в векторы, сравнивает их в YDB и помогает Винни найти друзей.

https://habr.com/ru/articles/1067576/

#YDB #семантический_поиск #векторный_поиск #эмбеддинги #Yandex_AI_Studio #Codex #Codex_Pets #рекомендательные_системы

Я научил Obsidian искать по смыслу. Как устроен локальный семантический индекс без отдельной векторной БД

В комментариях к прошлой статье мне написали примерно следующее: граф связей выглядит красиво, но хороший поиск по заметкам полезнее. Спорить было трудно. Я сам регулярно открывал Obsidian, помнил, что где-то писал нужную мысль, но не помнил ни заголовок, ни точную формулировку. Обычный поиск в такой ситуации помогал примерно как человек, который на вопрос «где мои ключи?» отвечает «там, где ты их оставил». Например, в заметке могло быть написано:

https://habr.com/ru/articles/1067058/

#Obsidian #семантический_поиск #embeddings #векторный_поиск #TypeScript #локальный_индекс #LocalVectorStore #OpenRouter #Ollama #Vault_Audit_AI

Эволюция поиска вакансий в Авито Работе: ML-оптимизации и инсайты из АБ-тестов

Привет! Меня зовут Вадим Вахрушев , я старший DS-инженер в Авито , занимаюсь задачами поиска. В статье расскажу, как устроено ранжирование в Авито Работе: какие ML-модели помогают создавать выдачу вакансий, и какие инсайты мы вынесли из нескольких показательных АБ-тестов. Думаю, статья будет в первую очередь интересна ML-инженерам, которым важно разобраться, как поисковое ранжирование адаптируется под конкретную бизнес-вертикаль. Если хочется узнать про поиск в Авито в целом, загляните в обзорную статью — «Как работает поисковое ранжирование для миллионов объявлений Авито» . В этом материале я сфокусируюсь именно на специфике вакансий.

https://habr.com/ru/companies/avito/articles/1064546/

#retrieval_systems #machinelearning #ранжирование #рекомендательные_системы #CTR #abтестирование #векторный_поиск #эмбеддинги

Строили ANN руками — когда это того стоило, а когда нет

Сразу отвечаю на вопрос, который вы задали бы в первом же комментарии: а почему не pgvector? Короткий ответ: ровно то, что pgvector делает хорошо — генерацию кандидатов (найти top‑k ближайших по косинусу) — мы и советуем отдавать pgvector, если он у вас есть. Свой ANN мы написали, потому что (1) pgvector есть не везде, где должна работать наша память, и (2) самое ценное в нашей задаче — вообще не генерация кандидатов. Про это вся статья, так что давайте по порядку.

https://habr.com/ru/articles/1063914/

#ANN #HNSW #pgvector #векторный_поиск #PostgreSQL #Personalized_PageRank #HippoRAG #память_агента #ИИагенты