#векторные_базы_данных — Public Fediverse posts

RAG с правами доступа: как не показать сотруднику документ, которого он не должен видеть

Практический разбор решения на примере реального корпоративного FAQ-бота Начальник смены на складе открывает корпоративного ИИ-ассистента и пишет в чате: «Что делать, если водитель не успел с доставкой?» Через несколько секунд появляется ответ — чёткий, правильный, со ссылкой на источник: регламент логистических операций. Его можно скачать. Теперь представим, что тот же сотрудник задаёт другой вопрос: «Сколько мы платим перевозчикам за километр?» Ввести такой вопрос ему ничто не мешает. Важно лишь то, что произойдёт дальше. Если файл с тарифной сетке лежит в той же базе данных, что и регламент, ассистент ответит вежливо, точно и приложит ссылку на скачивание. В этом-то и проблема. Семантический поиск мы решили и добились хороших ответов. Но следующая сложная задача — сделать так, чтобы ассистент отвечал только на основе того, что конкретному человеку разрешено знать.

https://habr.com/ru/articles/1085600/

#rag #retrievalaugmented_generation #контроль_доступа #права_доступа #информационная_безопасность #векторные_базы_данных #корпоративный_ai #защита_данных

Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов

Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым алгоритмом «под капотом» могут решать эту задачу с разной эффективностью: пропускная способность (QPS) и задержки могут сильно различаться из-за накладных расходов движка хранения и модели блокировок. И для бизнеса эта разница может обернуться лишними затратами на инфраструктуру или деградацией UX в пиковые часы. Поэтому к этим параметрам нередко предъявляются особые требования. Привет, Хабр. Меня зовут Георгий Белянин. В статье я разберу архитектуру векторного поиска в Tarantool и приведу результаты сравнения скорости вставки и запросов с Qdrant и pgvector.

https://habr.com/ru/companies/vktech/articles/1080978/

#Tarantool #Qdrant #pgvector #векторные_базы_данных #векторный_поиск #ANNпоиск #HNSW #эмбеддинги #бенчмарки #vk_tech

PostgreSQL умер, да здравствует… PostgreSQL?

Привет, Хабр. Я хочу рассказать историю, которую вы уже, наверняка, где-то слышали. Только с другой стороны. Пару месяцев назад я сидела на созвоне с техдиром стартапа, который делал RAG-систему для юридических документов. Он сказал, что они уходят с Postgres на Pinecone, потому что Postgres для векторов не тянет, это же очевидно. Я спросила, сколько у них векторов. Оказалось, тысяч двести, может, триста. Я уточнила, пробовали ли они вообще pgvector. Выяснилось, что нет, решение приняли по общему ощущению, что Postgres для этого не годится. Ощущение было не на пустом месте, два года назад так и было. Я не стала спорить. Просто открыла документацию pgvector и скинула ссылку. Через неделю он написал, что оно работает. Даже быстрее, чем они думали. Ещё через месяц они запустили прод. На одном Postgres. Без Pinecone. Без отдельной векторной базы. Без трёх месяцев инфраструктурной работы, которую они уже успели запланировать. И это не единичный случай. Мне кажется, что это паттерн. И я хочу разобрать его по частям, потому что за последние пару лет я видела этот сценарий минимум пять раз в разных вариациях, и каждый раз он заканчивался одинаково.

https://habr.com/ru/articles/1081568/

#postgresql #pgvector #векторные_базы_данных #hnsw #rag #эмбеддинги #гибридный_поиск #qdrant #полнотекстовый_поиск #архитектура

Шесть лет разработки Telegram-бота: от токенайзера до LLM, RAG и векторных баз

Ио — это LLM-бот для Telegram-чатов. Он умеет отвечать на сообщения пользователей, распознавать изображения и голосовые сообщения, учитывать текущий тред, историю переписки и информацию о пользователе. Расскажу, как я пилил его несколько лет, пытался научить помнить пользователей, разбирался с RAG и векторными базами и в итоге получил систему, которая действительно работает. Как бот научился помнить

https://habr.com/ru/articles/1065060/

#telegram_bot #llmмодели #rag #векторные_базы_данных #vector_search #postgresql #embeddings #ai

Как с чистой совестью бросить стартап, на который ушло 2 года

Два года я делал свой проект — InnerCore, приложение для записи и юнгианского анализа снов. Сперва телеграм-бот, потом мобильное приложение, потом сделал веб-версию. По итогу было пятнадцать живых пользователей, некоторые даже платили! Продукт готов и работает! Осталось только запустить маркетинг и масштабировать.... Но вместо этого я его закрываю. Сервер поработает ещё пару недель — можно потыкать . Исходники выложил в открытый доступ . А это статья про то, почему готовый продукт отправляется на полку, и про механизм, который я в себе раскопал, пока разбирался в причинах, которые как рыночные, так и психологические.

https://habr.com/ru/articles/1064946/

#юнгианский_анализ #анализ_снов #эмбеддинг #векторные_базы_данных #RAG #llm #UMAP #кластеризация #закрытие_стартапа #мотивация

Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb

Полгода назад я начал писать in-memory базу с векторным поиском на Go: RESP-протокол, HNSW-индекс, WAL, многопоточность. Рассказываю, что из этого вышло: как я мерил производительность и на каких граблях стоял, что реально ускоряет векторный поиск, а что нет. Все цифры воспроизводимы, код открыт.

https://habr.com/ru/articles/1057136/

#векторные_базы_данных #векторный_поиск #hnsw #golang #go #inmemory #benchmark #квантизация #rag

Встраиваемая векторная БД для RAG на .NET 8: когда внешние сервисы избыточны

Если вы делаете RAG (Retrieval-Augmented Generation) на .NET, то рано или поздно упираетесь в вопрос: куда складывать эмбеддинги и как быстро искать по ним. Существующие варианты делятся на два лагеря. Внешние сервисы (Pinecone, Qdrant, Weaviate) — хороши, но требуют отдельной инфраструктуры. Сеть, авторизация, сериализация, мониторинг. Каждый запрос — это миллисекунды на HTTP. Плюс вы привязываетесь к конкретному облачному провайдеру или контейнеру. Существующие .NET-решения — часто либо заброшены, либо имеют проблемы с производительностью (избыточные аллокации, медленный ANN, отсутствие гибридного поиска). Но есть и третий путь: встраиваемая (embedded) векторная БД, которая работает прямо внутри вашего процесса. Никакой сети. Никакого внешнего сервиса. Только ваш код и процессор.

https://habr.com/ru/articles/1040774/

#NET #RAG #векторные_базы_данных #производительность

RAG в энтерпрайзе: почему демо работает, а прод нет

Представьте себе типичное совещание. Кто-то из руководства возвращается с конференции, садится напротив и говорит: «У них там бот по внутренней документации, надо себе такой же. До конца квартала». Через четыре месяца у тебя есть Pinecone, OpenAI API, две недели работы над парсингом PDF и чат-бот, который на демо отвечает на пять подобранных вопросов идеально. А на шестой, который задаст любой нормальный сотрудник, отвечает уверенным бредом. Дальше про то, что именно между этими двумя состояниями происходит. Но без «правильной архитектуры RAG», потому что такой не существует.

https://habr.com/ru/articles/1038670/

#RAG #LLM #retrievalaugmented_generation #векторные_базы_данных #эмбеддинги #чанкинг #корпоративный_поиск #галлюцинации_LLM #OpenAI #Pinecone

[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать

RAG часто воспринимают как аккуратный способ «заземлить» LLM на документах и снизить риск галлюцинаций. Но у этой архитектуры есть менее очевидная проблема: контекст из базы знаний обычно считается доверенным, хотя именно через него в модель могут попасть вредоносные инструкции. В статье разбираем, как несколько отравленных документов могут повлиять на ответы системы, почему эмбеддинги нельзя считать безопасной абстракцией и какие уровни защиты нужны, если RAG используется не в демо, а в реальном продакшене. К рискам RAG

https://habr.com/ru/companies/otus/articles/1029742/

#RAG #LLM #промптинъекции #безопасность_llm #отравление_данных #векторные_базы_данных #эмбеддинги #OWASP_LLM_Top_10

[Перевод] Практическое руководство по инжинирингу контекста для AI-ассистентов

Каждая новая сессия с AI-ассистентом для разработки обнуляет накопленный контекст: инструменты мощные, но по своей природе «забывчивые». В итоге мы снова и снова проговариваем стек, соглашения и ограничения, тратя время на восстановление того, что уже было известно вчера. В статье разберемся, как превратить это слабое место в управляемый ресурс: от простых файлов правил до полноценных слоёв памяти и инфраструктуры, которые позволяют ассистенту работать с учётом накопленного опыта.

https://habr.com/ru/companies/otus/articles/1028442/

#LLM #инжиниринг_контекста #память_AI #контекстное_окно #rag #промптинжиниринг #LLMинженер #векторные_базы_данных #AIассистенты

[Перевод] Объясняем векторные базы данных на трех уровнях сложности

Из этого материала вы узнаете о том, как работают векторные базы данных, разобравшись с широким диапазоном тем — от основ поиска по сходству, до стратегий индексирования, которые позволяют применять на практике крупномасштабный поиск данных.

https://habr.com/ru/companies/wunderfund/articles/1022820/

#векторные_базы_данных #HNSW #IFV

Как векторные базы данных налаживают взаимопонимание между человечеством и роботами

В 2026 году генеративные модели на основе искусственного интеллекта не всегда понимают, что просил пользователь, и выдают нерелевантные ответы. Векторные базы данных помогают ИИ распознавать смысл, который человек вкладывает в запрос, и быстрее находить нужную информацию. Если в вашем проекте пользователи ищут данные не по точным ключевым запросам, а по смыслу, эта статья для вас. В ней мы расскажем, как работают векторные базы данных, для каких проектов они нужны и как выбрать подходящую в зависимости от задач. О ВБД простыми словами →

https://habr.com/ru/companies/netologyru/articles/980814/

#векторные_базы_данных #базы_данных #векторные_пространства #векторы #семантический_поиск #эмбеддинги #llmмодели #ai #иимодель #ии

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.

https://habr.com/ru/articles/987954/

#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных

Нейропоисковик на 17 миллионов картинок: OpenCLIP, Qdrant и ZeroTier вместо облаков

Как сделать свой аналог Pinterest, если у вас нет бюджета корпорации, но есть 4 ТБ картинок (17 миллионов штук) и желание искать по ним не просто по тегам, а по визуальному стилю? В статье — опыт построения распределенной системы поиска из подручных средств. Разбираем архитектуру: — Гибридное хранение: Backblaze B2 (холодное) + Домашний сервер (вычисления). — Сеть: Как ZeroTier объединил разрозненные ноды в одну Mesh-сеть без белых IP. — Векторный поиск: Как уместить 17 миллионов векторов OpenCLIP ViT-H/14 в 32 ГБ RAM с помощью Qdrant и квантизации. — Оптимизация: Почему поиск работает за 5 мс, а загрузка метаданных тормозила до 3 секунд, и как PostgreSQL спас ситуацию. Полный разбор ETL-пайплайна и экономики домашнего HighLoad-проекта.

https://habr.com/ru/articles/981330/

#python #векторные_базы_данных #qdrant #поиск_изображений #clip #zerotier #оптимизация #petproject #diy #selfhosting

[Перевод] Как развернуть полноценный n8n AI-стек за 15 минут, а не за целый день

Последние пару лет я активно работаю с автоматизацией и AI‑агентами. Проекты разные — от чат‑ботов для Telegram до сложных RAG‑систем с векторными базами. И знаете, что меня всегда бесило? Каждый раз при развертывании нового проекта уходило несколько часов, а то и целый день на настройку окружения. Сначала настраиваешь Docker Compose для n8n, потом прикручиваешь Postgres, потом вспоминаешь про Redis (потому что без него n8n в queue mode не заведешь), потом Supabase для векторов, потом Qdrant, потому что Supabase для векторов медленноват... А еще же HTTPS нужно настроить, Caddy или Nginx сконфигурировать, сертификаты получить. И так каждый раз. После очередного развертывания я подумал: «Хватит, надо это автоматизировать раз и навсегда». Так родился n8n‑install — репозиторий, который превращает чистый Ubuntu VPS в полноценный AI‑стек одной командой.

https://habr.com/ru/articles/973776/

#n8n #автоматизация #Docker #AIагенты #DevOps #RAG #Ollama #векторные_базы_данных #selfhosted #production

Путешествие в пространство смыслов: как анатомия LLM поможет нам в работе со смыслами и поиске новой теории познания

В старые времена путешествие из одной части мира в другую могло занимать целые месяцы, а иногда и годы. Представления людей об устройстве мира в то время были наполнены мифами о песиголовцах, единорогах и прочих небылицах. На белых пятнах географических карт их составители, не зная, что там находится, часто писали "тут проживают драконы". Сейчас же мы можем открыть точную карту планеты онлайн и за секунды простроить дорожный маршрут из одной точки мира в другую. Современные технологии дали нам удобный интерфейс взаимодействия с полной картой физического пространства нашей планеты. Точно такой же переворот прямо сейчас происходит с другим, уже нефизическим, пространством - миром идей и смыслов. Последние достижения в области машинного обучения, нейронных сетей и больших языковых моделей дали нам возможность составить точную карту пространства смыслов и продвигаться в нём уже не на ощупь, как прежде, а с широко открытыми глазами...

https://habr.com/ru/articles/962644/

#пространство_смыслов #llm #векторные_базы_данных #скорость_света #фракталы #информация #объектноориентированная_онтология

Chonkie: революция в RAG-чанкинге — скорость, лёгкость, удобство

В эпоху, когда большие языковые модели (LLM) становятся всё более мощными и применяются во многих задачах, одна из ключевых проблем остаётся прежней — как эффективно снабжать их релевантным контекстом. Одним из популярных решений является подход RAG, где качество итогового ответа зависит от целого ряда факторов, одним из которых является качественное чанкирование исходных текстов. Сегодня мы рассмотрим одно из новых и интересных решений. Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о Chonkie — библиотеке для простого и быстрого чанкирования документов, а также на практике применю её и сравню с другими популярными решениями: LangChain и LlamaIndex .

https://habr.com/ru/companies/raft/articles/954158/

#rag #chunking #ai #поиск #чанкинг #векторные_базы_данных #библиотека #llm_память

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области. Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента.

https://habr.com/ru/companies/otus/articles/946354/

#RAG #retrievalaugmented_generation #LLM #Large_Language_Models #Эмбеддинги #Векторные_базы_данных #Векторные_хранилища #Индексация #Ранжирование

Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 3. Retrieval-Augmented Generation (RAG) на службе GenAI

Это третья статья специалиста по архитектуре ИТ-систем и трансформации ИТ-ландшафта Дениса Прилепского из серии «Строим корпоративную GenAI-платформу: от концепции до ROI». Автор разбирает, что такое RAG и зачем он нужен, как устроена архитектура retrieval-уровня и почему он критически важен для достоверных ответов. В статье — пример генерации юридической справки, практические проблемы (задержки, кеширование, актуальность) и подготовка к следующей теме — guardrails.

https://habr.com/ru/companies/mipt_digital/articles/932962/

#RAG #retrieval #векторные_базы_данных #эмбеддинги #LLM #корпоративные_ассистенты #кеширование #генерация_с_контекстом

Всё про Qdrant. Обзор векторной базы данных

Представьте, что вы создаёте умный поиск, который понимает не просто слова, а смысл текста. Или рекомендательную систему, способную угадывать желания пользователя на основе его действий и предпочтений. Для таких задач недостаточно обычных баз данных — нужны инструменты, способные оперировать векторами — числовыми представлениями смысла, визуальных образов или поведения. Здесь и появляется Qdrant.

https://habr.com/ru/companies/amvera/articles/925206/

#qdrant #векторные_базы_данных #qdrant_docker #qdrant_установка #qdrant_запуск #qdrant_vector_store #qdrant_search #qdrant_api #qdrant_create_collection #qdrant_documentation

Как мы внедрили векторный поиск в Postgres Pro

В статье разберемся, что такое векторный поиск, какие проблемы он решает, и как расширение pgpro_vector для Postgres Pro позволяет реализовать эти мощные возможности прямо в реляционной базе данных, без необходимости развертывать отдельные специализированные системы.

https://habr.com/ru/companies/postgrespro/articles/919552/

#векторизация #вектор #векторные_базы_данных #векторный_поиск #postgres #postgres_pro #разработка_баз_данных #администрирование_баз_данных

BlackWave: Как я создал симулятор соцсети с тысячами ИИ-ботов и почему перешёл на Python

Эта статья — не просто рассказ о разработке. Это путь от сумасшедшей идеи «социальной сети для одного» до полноценной open-source платформы, где каждый бот — личность. Я поделюсь тем, как строил архитектуру, зачем отказался от C# в пользу Python и почему важно, чтобы ИИ-боты вели себя не как алгоритмы, а как настоящие люди. Читать

https://habr.com/ru/articles/918848/

#Python #Django #fastapi #искусственный_интеллект #социальные_сети #открытый_код #docker #dockercompose #ai #векторные_базы_данных

Новые векторные СУБД и другие инструменты для МО

Ранее в блоге

https://habr.com/ru/companies/beeline_cloud/articles/918480/

#beeline_cloud #векторные_базы_данных #векторизация #векторные_представления #rag

Личный ИИ-ассистент на ваших данных. Часть 2: Веб-интерфейс, авторизация и стриминг ответов от ИИ

Продолжаем тему, которая вызывает живой интерес у многих разработчиков и энтузиастов ИИ — создание собственного ассистента на базе ChatGPT или DeepSeek с использованием личной базы знаний. В этой части статьи мы шаг за шагом превращаем консольную заготовку из первой части в полноценный веб-сервис: — реализуем авторизацию — создаём веб-чат с выбором нейросети — интегрируем всё через FastAPI — готовим к деплою Если вы хотите, чтобы ваш ИИ-ассистент выглядел и работал как настоящий сервис — поехали!

https://habr.com/ru/companies/amvera/articles/902868/

#векторные_базы_данных #python #deepseek #chatgpt #langchain #openapi #openapi_api #fastapi #fastapi_stream #jinja2

Личный ИИ-ассистент на ваших данных. Часть 1: Векторная база ChromaDB + DeepSeek | GPT

Сегодня поговорим о теме, которая вызывает живой интерес у многих разработчиков и энтузиастов ИИ — интеграции больших языковых моделей вроде DeepSeek или ChatGPT с собственной базой знаний. В этой статье я подробно расскажу, как работают векторные базы данных, зачем они нужны и какую роль играют в построении эффективной связки между вашей внутренней информацией и мощью современных LLM. Если вы хотите научиться «обучать» ИИ на своих данных — добро пожаловать!

https://habr.com/ru/companies/amvera/articles/897830/

#python #deepseek #chatgpt #cromadb #векторные_базы_данных #rag #openai_api #langchain #база_знаний_поиск #chromadb_install

[Перевод] О векторных базах данных простым языком

Представьте, что управляете онлайн-магазином, предлагающим тысячи товаров. Чтобы помочь пользователям находить нужные позиции, вы добавили строку поиска. Теперь посетители могут вводить интересующие их запросы, на что вы будете показывать им подходящие результаты. Например, когда пользователь вводит «лето», вы можете показывать предметы вроде шортов, платьев, панам и пляжных зонтов. Как бы вы реализовали такую систему?

https://habr.com/ru/companies/ruvds/articles/863704/

#ruvds_переводы #векторные_базы_данных #postgres #mysql #python #машинное_обучение #алгоритмы #онлайнторговля

Векторные БД vs Точность — часть 2

В первой части из тестов стало понятно, что в векторном поиске с терминами что-то не так. И точность достаточно низкая для корректной работы RAG (retrieval augmentation generation). Давайте попробуем гибридный поиск и посмотрим, что из этого получится.

https://habr.com/ru/articles/817173/

#llm #векторные_базы_данных #retrieval_augmented_generation #chroma #weaviate #qdrant

Векторные базы данных: простым языком про устройство и принцип работы

Только изучили один инструмент, как сразу же появились новые? Придется разбираться! В статье мы рассмотрим новый тип баз данных, который отлично подходит для ML задач. Пройдем путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймем, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле.

https://habr.com/ru/companies/tochka/articles/809493/

#базы_данных #векторные_базы_данных

Векторные БД vs Точность — часть 1

Как я пытался собрать "по-быстрому" локальный RAG(retrieval augmentation generation), который будет находить термины из словаря Ожегова и поделиться об этом тут. На просторах интернетах все просто. Но на практике для моей задачи это оказалось не так. Точность...

https://habr.com/ru/articles/807957/

#llm #векторные_базы_данных #retrieval_augmented_generation #chromadb

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных

Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, на основе больших языковых моделей, генеративного ИИ и семантического поиска. В основе этих технологий лежат векторные представления (embeddings, дальше будем называть их Эмбеддинги), сложные представления данных, пронизанные критической семантической информацией. Эти вектора, созданные LLMs, охватывают множество атрибутов или характеристик, что делает управление ими сложной задачей. В области искусственного интеллекта и машинного обучения эти характеристики представляют различные измерения данных, необходимые для обнаружения закономерностей, взаимосвязей и базовых структур. Для удовлетворения уникальных требований к обработке этих вложений необходима специализированная база данных. Векторные базы данных специально созданы для обеспечения оптимизированного хранения и запросов векторов, сокращая разрыв между традиционными базами данных и самостоятельными векторными индексами, а также предоставляя ИИ-системам инструменты, необходимые для успешной работы в этой среде нагруженной данными.

https://habr.com/ru/articles/791930/

#Базы_данных #Векторные_базы_данных