#vector_search — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #vector_search, aggregated by home.social.
-
Шесть лет разработки Telegram-бота: от токенайзера до LLM, RAG и векторных баз
Ио — это LLM-бот для Telegram-чатов. Он умеет отвечать на сообщения пользователей, распознавать изображения и голосовые сообщения, учитывать текущий тред, историю переписки и информацию о пользователе. Расскажу, как я пилил его несколько лет, пытался научить помнить пользователей, разбирался с RAG и векторными базами и в итоге получил систему, которая действительно работает. Как бот научился помнить
https://habr.com/ru/articles/1065060/
#telegram_bot #llmмодели #rag #векторные_базы_данных #vector_search #postgresql #embeddings #ai
-
Облачные ИИ не справляются, MiniLM-L6 ломается на философии: строим локальный RAG для сложных семантических текстов
Этот проект долго вынашивался и, в конце концов, начался как очередная попытка разобраться в философских текстах, написанных Джейн Робертс во второй половине двадцатого века. Естественно, с появлением мощных облачных ИИ не оставлялись попытки найти в них “качественных собеседников” по предложенной теме. Но, как показала практика, они справились с этой задачей далеко не блестяще! То галлюцинировали факты из общих знаний, то упираясь в границы своих датасетов. Ну что, остаётся последнее: пилить RAG на строго структурированной базе. А т.к. готовых корпусов в открытом доступе не нашлось, пришлось брать сырые сканы, вычищать артефакты распознавания и переводить их в XML, пригодный для эмбеддинга. На сегодняшний день проделана часть работы. Создан репозиторий в статусе исследовательского лога, куда выкладываются сырые скрипты обработки, предсобранный индекс ChromaDB и пайплайн на базе Qwen2.5 + LM Studio. Зачем я это пишу? Мне нужен технический аудит от тех, кто глубже работает с векторными базами и архитектурой чат-ботов. В процессе сборки возникли несколько вопросов, по которым у меня пока нет однозначного ответа: Архитектура индекса: как грамотнее организовать хранение в Chroma? Сохранение контекста диалога: как правильно реализовать память о предыдущих вопросах пользователя без раздувания токен-бюджета? Ранжирование выдачи: может ли reranker (например, cross-encoder) улучшить точность на философских текстах? И с какого объёма стоит начинать эту оптимизацию?
-
Manticore Search 28.4.4: быстрый рескоринг KNN, более гибкий диалоговый поиск, упрощённая установка и улучшенные фасеты
Мы выпустили Manticore Search 28.4.4 . В этом релизе ресоринг KNN стал быстрее, диалоговый поиск — гибче, установка и обновление — проще, фасеты получили дополнительные параметры, появились настройки релевантности по умолчанию на уровне таблицы, а также исправления в аутентификации, репликации, совместимости SQL, распределённых запросах и внутренних механизмах columnar/KNN. В этом посте собраны изменения, вышедшие с 27.2.0 по 28.4.4 .
https://habr.com/ru/articles/1062520/
#knn #knnsearch #vector_search #facets #векторный_поиск #фасетный_поиск #sql #релиз #полнотекстовый_поиск
-
Turbopuffer vs Manticore Search: бенчмарк на недорогих VPS
Векторные базы данных в serverless-модели обычно обещают простую вещь: не требуется развёртывание и настройка, а провайдер берёт на себя управление хранилищем, масштабирование и обеспечение доступности. turbopuffer - один из лучших примеров этого класса: быстрый движок векторного поиска, использующий object storage в качестве хранилища, которым пользуются Cursor, Notion, Linear и другие. Такой подход действительно снижает операционную нагрузку на команду, но он не бесплатен. Поэтому возникает закономерный вопрос: какая часть этих преимуществ нужна небольшому, четко определенному сценарию, и во что обойдется та же нагрузка на двух недорогих VPS с Manticore Search - по цене и по производительности? В этой статье мы подтверждаем это цифрами: сравниваем две системы в одинаковых условиях на одном и том же наборе данных.
https://habr.com/ru/articles/1062062/
#бенчмарк #бенчмарки #векторный_поиск #сравнение_поисковых_механизмов #полнотекстовый_поиск #latency #vector_search #задержка #гибридный_поиск
-
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели. Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch , — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.
https://habr.com/ru/articles/1051864/
#onnx #onnx_runtime #onnxruntime #embeddings #эмбеддинги #инференс #векторный_поиск #vector_search
-
Как мы ускорили KNN-поиск в Manticore: двухпроходный обход HNSW, пакетная обработка и AVX-512
Кратко: Три изменения в HNSW-поиске ускоряют KNN-поиск до 29% при больших k и дают более 20% прироста при параллельной нагрузке. Без изменений API, без перестроения индексов и без новых настроек — просто более быстрый поиск.
https://habr.com/ru/articles/1050922/
#knn #knnsearch #обработка_больших_данных #обработка_больших_массивов_данных #hnsw #vector_search #векторный_поиск #performance #performance_optimization #производительность
-
Retrieval в 2026: как RAG переехал с энкодеров на LLM (и что с этим делать в своём проекте)
Если вы строили RAG в 2023, ваш стек выглядел плюс-минус одинаково. BERT-семейство (BGE, e5) для семантики, BM25 для буквальных совпадений, cross-encoder для реранкинга, какой-нибудь Qdrant сверху. Этим жили два года, и многие до сих пор так живут. Но если посмотреть, кто реально гоняется в продакшене у команд, которые ушли вперёд, ландшафт другой. Энкодеров там почти нет. Эмбеддит файнтюненная LLM. Реранкер — тоже LLM. Инференс на SGLang, а не на ONNX. И вся обвязка перестроилась под это. Эта статья про то, что поменялось и как переиспользовать этот стек у себя. Особенно если вы работаете в узком домене, где готовых датасетов нет.
https://habr.com/ru/articles/1049872/
#RAG #эмбеддинги #embeddings #retrieval #LLM #Qwen3 #Qdrant #vector_search #hard_negatives #LLM2Vec
-
Почему RAG — это не просто «добавить поиск»: latency, качество и выбор стратегии retrieval
Когда говорят про RAG, его часто описывают как простой способ улучшить LLM‑систему: добавить поиск по внешним данным, найти релевантный контекст, передать его модели и получить более точный ответ. На уровне идеи это действительно выглядит логично. Но в реальной системе RAG — это не только способ обогатить ответ. Это отдельный операционный слой, который влияет на задержку, размер prompt, количество input tokens, стоимость запроса, качество ответа, SLA и требования к наблюдаемости системы. Я хотел посмотреть на это не в формате общих рассуждений, а на небольшом локальном стенде: где именно появляется дополнительная нагрузка, какие параметры сильнее всего влияют на latency, почему больше контекста не всегда означает лучшее качество и почему стратегия retrieval должна зависеть от типа вопроса и структуры данных. Это не промышленный benchmark и не попытка получить универсальные цифры. Скорее серия контролируемых экспериментов: посмотреть на механику RAG pipeline и компромиссы, которые часто остаются за кадром, когда RAG описывают просто как «поиск + LLM».
https://habr.com/ru/articles/1040938/
#RAG #LLM #retrieval #latency #Chroma #Ollama #vector_search #embeddings #topk #chunk_size
-
10 актуальных RAG-подходов: какие реально полезны и когда их применять?
Всем привет, на фоне обновлений в LLM-стеке за последний год, решил собрать практический список RAG-подходов, которые реально используются в продакшене на основе моего опыта и того что я изучал в других кейсах.
https://habr.com/ru/articles/1029616/
#aiразработка #rag_ai #rag_pipeline #retrieval_augmented_generation #llm #llmмодели #vector_search #hybrid_search #graphrag #multimodal
-
MCP-Manticore: Позвольте вашему AI-ассистенту писать запросы к Manticore за вас
Вы слышали, что Manticore Search быстрый. Вы слышали, что он объединяет полнотекстовый, векторный и нечеткий поиск в одном движке. Но когда вы начинаете реально работать с ним, вы сидите перед документацией, угадываете синтаксис SQL и надеетесь, что CREATE TABLE не выдаст непонятную ошибку. MCP-Manticore меняет правила игры. Это сервер Model Context Protocol (MCP), который подключает Cursor, Claude Code, Codex CLI или любой другой MCP-совместимый AI-ассистент напрямую к вашему экземпляру Manticore. AI может:
https://habr.com/ru/articles/1015284/
#mcp #model_context_protocol #ai #llm #ai_assistant #search_engine #data_base #sql #vector_search #full_text_search
-
Гибридный поиск в Manticore Search
Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.
https://habr.com/ru/articles/1018754/
#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag
-
Разработка агентов в AI Studio Yandex Cloud
Сегодня обсудим развёртывание агентов, созданных в Yandex Cloud AI Studio Agent Atelier . Atelier — это такой очевидный UI для настройки PromptTemplate для Responses API .
https://habr.com/ru/companies/reksoft/articles/1016026/
#yandexcloud #ai_studio #agent_atelier #atelier #ии_агент #yaml #vector_search
-
Vector Data in .NET – Building Blocks for AI Part 2
https://devblogs.microsoft.com/dotnet/vector-data-in-dotnet-building-blocks-for-ai-part-2/#microsoft #NET #AI #C #Embeddings #Microsoft_Extensions_VectorData #rag #semantic_search #vector_search
-
Check-before-Suggest（幻覚対策 — Hallucination）
https://qiita.com/tms-ducvu/items/402d9afab888e3b73c9c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Как мы учили поиск понимать контекст: практическое руководство Купера для маркетплейсов
В IT-сообществе только и разговоров об эмбеддингах, metric learning, косинусных расстояниях и семантическом поиске. На конференциях все хвастаются красивыми слайдами про нейросети и векторные пространства. Но если заглянуть под капот и посмотреть, что реально работает в поиске крупных маркетплейсов и e-commerce платформ, то там, как правило, он — добрый, старый полнотекстовый индекс. Почему? Потому что полнотекстовый поиск — это стабильно, быстро и понятно. Минус только один, его уже недостаточно. Да, он классно ловит точные совпадения, но синонимы, переформулировки и небольшие ошибки прощает пользователям уже с большим трудом. Меня зовут Игорь Самарин , я Machine Learning Engineer из команды поиска в Купере, где уже полтора года занимаюсь проектами, связанными с векторами. В этой статье я расскажу, как на самом деле работает поиск внутри компании, поведаю о полнотекстовом поиске — его сильных сторонах и недостатках. Затем объясню специфику векторного поиска и разберу, какие именно проблемы старого подхода он решает и продемонстрирую, как обучить векторную модель на своих данных, чтобы она понимала специфику каталога. А в конце вас ждут реальные результаты из A/B тестов и небольшой панч о перспективах.
https://habr.com/ru/companies/kuper/articles/976068/
#ml #машинное_обучение #vector_search #векторный_поиск #гибридный_поиск #векторная_модель #elasticsearch
-
[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
https://habr.com/ru/articles/947632/
#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api
-
Introducing the AI Dev Gallery: Your Gateway to Local AI Development with .NET
https://devblogs.microsoft.com/dotnet/introducing-ai-dev-gallery-gateway-to-local-ai-development/#microsoft #NET #AI #NET_9 #dev_tools #generative_ai #Machine_Learning #tokenizers #vector_search
-
We were not accepted into Google Summer of Code. So, we started our own
https://qdrant.tech/blog/qdrant-summer-of-code-24/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
We were not accepted into Google Summer of Code. So, we started our own
https://qdrant.tech/blog/qdrant-summer-of-code-24/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
Qdrant, the Vector Search Database, raised $28M in a Series A round
https://qdrant.tech/blog/series-a-funding-round/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
Qdrant, the Vector Search Database, raised $28M in a Series A round
https://qdrant.tech/blog/series-a-funding-round/
#ycombinator #vector_search_engine #neural_network #matching #SaaS #approximate_nearest_neighbor_search #image_search #recommender_system #vectors #knn_algorithm #hnsw #vector_search #embeddings #similarity #simaes_networks #BERT #transformer #word2vec #fasttext #qdrant -
On a roll: Qdrant brings sparse vectors, discovery search and custom sharding
https://qdrant.tech/articles/qdrant-1.7.x/
#ycombinator #vector_search #new_features #sparse_vectors #discovery #exploration #custom_sharding #snapshot_based_shard_transfer #hybrid_search #bm25 #tfidf #splade #qdrant -
On a roll: Qdrant brings sparse vectors, discovery search and custom sharding
https://qdrant.tech/articles/qdrant-1.7.x/
#ycombinator #vector_search #new_features #sparse_vectors #discovery #exploration #custom_sharding #snapshot_based_shard_transfer #hybrid_search #bm25 #tfidf #splade #qdrant