home.social

#hnsw — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #hnsw, aggregated by home.social.

fetched live
  1. Собираем приватный RAG-стек на pgvector

    Собираем приватный RAG-стек на pgvector, где документы, поиск и генерация ответа остаются внутри вашего VPS. Разберём схему стенда, embeddings, pgvector, локальную LLM, проверку прав доступа, качество поиска, HNSW/IVFFlat, журналы и резервное восстановление.

    habr.com/ru/articles/1085468/

    #RAG #pgvector #PostgreSQL #векторный_поиск #embeddings #локальная_LLM #selfhosted_RAG #Ollama #HNSW #информационная_безопасность

  2. Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов

    Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым алгоритмом «под капотом» могут решать эту задачу с разной эффективностью: пропускная способность (QPS) и задержки могут сильно различаться из-за накладных расходов движка хранения и модели блокировок. И для бизнеса эта разница может обернуться лишними затратами на инфраструктуру или деградацией UX в пиковые часы. Поэтому к этим параметрам нередко предъявляются особые требования. Привет, Хабр. Меня зовут Георгий Белянин. В статье я разберу архитектуру векторного поиска в Tarantool и приведу результаты сравнения скорости вставки и запросов с Qdrant и pgvector.

    habr.com/ru/companies/vktech/a

    #Tarantool #Qdrant #pgvector #векторные_базы_данных #векторный_поиск #ANNпоиск #HNSW #эмбеддинги #бенчмарки #vk_tech

  3. PostgreSQL умер, да здравствует… PostgreSQL?

    Привет, Хабр. Я хочу рассказать историю, которую вы уже, наверняка, где-то слышали. Только с другой стороны. Пару месяцев назад я сидела на созвоне с техдиром стартапа, который делал RAG-систему для юридических документов. Он сказал, что они уходят с Postgres на Pinecone, потому что Postgres для векторов не тянет, это же очевидно. Я спросила, сколько у них векторов. Оказалось, тысяч двести, может, триста. Я уточнила, пробовали ли они вообще pgvector. Выяснилось, что нет, решение приняли по общему ощущению, что Postgres для этого не годится. Ощущение было не на пустом месте, два года назад так и было. Я не стала спорить. Просто открыла документацию pgvector и скинула ссылку. Через неделю он написал, что оно работает. Даже быстрее, чем они думали. Ещё через месяц они запустили прод. На одном Postgres. Без Pinecone. Без отдельной векторной базы. Без трёх месяцев инфраструктурной работы, которую они уже успели запланировать. И это не единичный случай. Мне кажется, что это паттерн. И я хочу разобрать его по частям, потому что за последние пару лет я видела этот сценарий минимум пять раз в разных вариациях, и каждый раз он заканчивался одинаково.

    habr.com/ru/articles/1081568/

    #postgresql #pgvector #векторные_базы_данных #hnsw #rag #эмбеддинги #гибридный_поиск #qdrant #полнотекстовый_поиск #архитектура

  4. Строили ANN руками — когда это того стоило, а когда нет

    Сразу отвечаю на вопрос, который вы задали бы в первом же комментарии: а почему не pgvector? Короткий ответ: ровно то, что pgvector делает хорошо — генерацию кандидатов (найти top‑k ближайших по косинусу) — мы и советуем отдавать pgvector, если он у вас есть. Свой ANN мы написали, потому что (1) pgvector есть не везде, где должна работать наша память, и (2) самое ценное в нашей задаче — вообще не генерация кандидатов. Про это вся статья, так что давайте по порядку.

    habr.com/ru/articles/1063914/

    #ANN #HNSW #pgvector #векторный_поиск #PostgreSQL #Personalized_PageRank #HippoRAG #память_агента #ИИагенты

  5. Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb

    Полгода назад я начал писать in-memory базу с векторным поиском на Go: RESP-протокол, HNSW-индекс, WAL, многопоточность. Рассказываю, что из этого вышло: как я мерил производительность и на каких граблях стоял, что реально ускоряет векторный поиск, а что нет. Все цифры воспроизводимы, код открыт.

    habr.com/ru/articles/1057136/

    #векторные_базы_данных #векторный_поиск #hnsw #golang #go #inmemory #benchmark #квантизация #rag

  6. Ускоренное построение KNN-индексов в Manticore

    Раньше построение KNN-индекса было самым медленным этапом при сохранении и слиянии чанков в таблицах с векторными атрибутами. Начиная с v27.1.5 , Manticore может задействовать несколько ядер CPU при сохранении чанков, слияниях через OPTIMIZE , авто-оптимизации и ALTER TABLE ... REBUILD KNN . На 16-ядерном Ryzen 9 5950X построение KNN-индекса для 1 миллиона 1536-мерных векторов сократилось с 8 минут до 39 секунд.

    habr.com/ru/articles/1054750/

    #векторный_поиск #knn #knnsearch #hnsw

  7. Как мы ускорили KNN-поиск в Manticore: двухпроходный обход HNSW, пакетная обработка и AVX-512

    Кратко: Три изменения в HNSW-поиске ускоряют KNN-поиск до 29% при больших k и дают более 20% прироста при параллельной нагрузке. Без изменений API, без перестроения индексов и без новых настроек — просто более быстрый поиск.

    habr.com/ru/articles/1050922/

    #knn #knnsearch #обработка_больших_данных #обработка_больших_массивов_данных #hnsw #vector_search #векторный_поиск #performance #performance_optimization #производительность

  8. Алгоритмы векторного поиска: IVF и HNSW

    В данной статье я хочу пройтись по двум самым популярным алгоритмам векторного поиска, используемым на практике. Попробуем понять, почему точный поиск не работает в высоких размерностях и почему мы в итоге приходим к приближенному поиску. Заодно мы затронем тему метрик, чтобы понять, как вообще сравнивают эмбеддинги. Рассмотрим вспомогательный и очень простой алгоритм k-means из классического ML’а, лежащий в основе IVF. И наконец, подробно разберем два самых главных алгоритма IVF и HNSW с примерами их реализации на Python’е.

    habr.com/ru/articles/1046654/

    #vector_db #ml #ivf #hnsw #python

  9. Раннее завершение KNN-поиска в Manticore Search

    Современные поисковые системы уже не просто сопоставляют ключевые слова. Когда вы ищете «уютный детектив, действие которого происходит в Париже», а получаете результаты вроде «атмосферный детективный роман во Франции», это векторный поиск в действии: документы и запросы превращаются в списки чисел — эмбеддинги, — а поисковый движок находит документы, чьи векторы ближе всего к вектору запроса. Manticore Search поддерживает это из коробки. Внутри используется структура данных HNSW: граф, который соединяет близкие векторы и позволяет быстро находить ближайших соседей без сканирования каждого документа. Благодаря этому векторный поиск по миллионам документов выполняется за миллисекунды.

    habr.com/ru/articles/1042064/

    #knn #knnsearch #векторный_поиск #семантический_поиск #hnsw #embeddings #oversampling #полнотекстовый_поиск

  10. [Перевод] Объясняем векторные базы данных на трех уровнях сложности

    Из этого материала вы узнаете о том, как работают векторные базы данных, разобравшись с широким диапазоном тем — от основ поиска по сходству, до стратегий индексирования, которые позволяют применять на практике крупномасштабный поиск данных.

    habr.com/ru/companies/wunderfu

    #векторные_базы_данных #HNSW #IFV

  11. [Перевод] Agentis Memory — Redis-совместимое хранилище со встроенным векторным поиском и локальными эмбеддингами

    В наше время уже никого не удивишь разработкой агентов, очередной оптимизацией, новой моделью или новой инфраструктурой для нейронок. Всё это в порядке вещей. Однако одно дело читать в Twitter «мы написали агента X и он оптимизировал нам процессы на 300000%», и совсем другое — начать копать чуть глубже. Копнёшь — а «агентом» называют скилл с одним промптом. Разработка настоящих агентов — задача не тривиальная. Достаточно посмотреть на утёкшие исходники Claude CLI — это не просто CLI, а целая инфраструктура бизнес-логики вокруг LLM. Я бы сравнил разработку агентов с разработкой типичных бэкенд-компонентов. Аналогия такая: если вы пишете каноничный бэкенд-сервис — вам нужна СУБД. Если Web3-сервис — блокчейн. Но на СУБД или блокчейне происходит в лучшем случае 50% всей логики. Вся магия крутится именно на бэкенде. С агентами то же самое: подключаешь AI SDK, конфигурируешь мыслительное ядро и пишешь вокруг него всю обвязку — мониторинги, AIOps, оркестрацию, memory management. Вот про memory management и пойдёт речь.

    habr.com/ru/articles/1018784/

    #Redis #AI_agents #GraalVM #ONNX #embeddings #HNSW #Java_Vector_API #SIMD #Project_Loom #LLM

  12. 🎩 Ah, behold the "DuckDB #community extension for prefiltered #HNSW using ACORN-1" — because the alphabet soup of #developer jargon just wasn't dense enough. 🤦‍♂️ GitHub has unleashed yet another "game-changer" to ensure your code doesn't just run, but performs a high-wire act while juggling flaming chainsaws. 🔥🤹‍♀️
    github.com/cigrainger/duckdb-h #DuckDB #ACORN1 #gamechanger #HackerNews #ngated

  13. 🎩 Ah, behold the "DuckDB #community extension for prefiltered #HNSW using ACORN-1" — because the alphabet soup of #developer jargon just wasn't dense enough. 🤦‍♂️ GitHub has unleashed yet another "game-changer" to ensure your code doesn't just run, but performs a high-wire act while juggling flaming chainsaws. 🔥🤹‍♀️
    github.com/cigrainger/duckdb-h #DuckDB #ACORN1 #gamechanger #HackerNews #ngated

  14. 🎩 Ah, behold the "DuckDB #community extension for prefiltered #HNSW using ACORN-1" — because the alphabet soup of #developer jargon just wasn't dense enough. 🤦‍♂️ GitHub has unleashed yet another "game-changer" to ensure your code doesn't just run, but performs a high-wire act while juggling flaming chainsaws. 🔥🤹‍♀️
    github.com/cigrainger/duckdb-h #DuckDB #ACORN1 #gamechanger #HackerNews #ngated

  15. SurgeDB: Cơ sở dữ liệu vector nhúng, hiệu năng cao, chạy nhẹ trên thiết bị biên, laptop hay VPS nhỏ. Viết bằng Rust, không phụ thuộc ngoài, hỗ trợ SIMD, HNSW, lọc metadata và bền vững với WAL. Chỉ tốn ~39MB RAM cho 100k vectors (768-dim), độ trễ tìm kiếm 0.64ms. Khác biệt với SQLite-vec và LanceDB ở kiến trúc hybrid in-memory + nén mạnh (SQ8/Binary). Đang tìm cộng sự phát triển WASM, tối ưu SIMD, binding Python/Node. Mã nguồn mở MIT. #SurgeDB #VectorDatabase #Rust #EdgeAI #HNSW #SQLite #AI #Mach

  16. Tôi vừa xây dựng 1 vector database viết sẵn bằng C++, API bằng Go hỗ trợ các thao tác cơ bản. Hiện đang dùng bruteforce search để cải thiện, sắp chuyển sang HNSW. Mời bạn góp ý, test thử nghiệm, nhắn tin trao đổi repo nhé! #VectorDB #C++ #LậpTrìnhGo #PhátTriểnMở #VectorSearch #EarlyAdopters #VectorDatabase #HNSW #DevCommunity #NhàLậpTrình

    reddit.com/r/opensource/commen

  17. Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат

    Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал, как мы перешли на собственную систему рекомендаций, а в этот раз о том, как делаем то же самое, но с метчингом товаров. X5 Digital – один из цифровых бизнесов Х5. Мы работаем в режиме Highload с RPS в 7500 и отвечаем за всю онлайн-доставку в более чем 1000 городах и населённых пунктах России. Этот канал постоянно растёт. В 2024 году покупатели Х5 совершили свыше 119,5 млн заказов продуктов на дом. Мы делаем собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты, а ещё мобильное приложение для торговых сетей. Всё это, отталкиваясь от разных форматов доставки. В «Перекрёстке» среднее время доставки CTD (Click-to-Delivery — от оформления заказа до его получения клиентом) сократилось до 45 минут, в «Чижике» — до 37 минут, а в «Пятёрочке» порядка 40% заказов доставляются клиентам менее чем за 20 минут.

    habr.com/ru/companies/X5Tech/a

    #машинное_обучение #nlp_обработка_текста #матчинг_товаров #рекомендации #векторный_поиск #faiss #hnsw #e5 #bert #onnx

  18. Here's a take on #HNSW from the redis guy, antirez news.ycombinator.com/item?id=4

    Seems like DiskANN on #LMDB already does better

  19. Here's a take on #HNSW from the redis guy, antirez news.ycombinator.com/item?id=4

    Seems like DiskANN on #LMDB already does better

  20. Here's a take on #HNSW from the redis guy, antirez news.ycombinator.com/item?id=4

    Seems like DiskANN on #LMDB already does better

  21. #DiskANN and #HNSW (Hierarchical Navigable Small World graphs) appear to be trending again. First popped onto my radar 2 years ago, using #LMDB. xcancel.com/search?f=tweets&q=

    A lot of the more recent noise seems to be on M$ infrastructure. For those with more money than brains...

  22. #DiskANN and #HNSW (Hierarchical Navigable Small World graphs) appear to be trending again. First popped onto my radar 2 years ago, using #LMDB. xcancel.com/search?f=tweets&q=

    A lot of the more recent noise seems to be on M$ infrastructure. For those with more money than brains...

  23. #DiskANN and #HNSW (Hierarchical Navigable Small World graphs) appear to be trending again. First popped onto my radar 2 years ago, using #LMDB. xcancel.com/search?f=tweets&q=

    A lot of the more recent noise seems to be on M$ infrastructure. For those with more money than brains...

  24. 🚀 So, you've spent a year wrestling with HNSWs and decided to take a break. How groundbreaking! 🤯 Now, instead of yet another intro, we're blessed with a "brain dump" of #advanced #findings, because, of course, the world was just dying for that extra mile of #HNSW wisdom. 🙄
    antirez.com/news/156 #breakthroughs #tech #innovation #brain #dump #HackerNews #ngated

  25. 🚀 So, you've spent a year wrestling with HNSWs and decided to take a break. How groundbreaking! 🤯 Now, instead of yet another intro, we're blessed with a "brain dump" of #advanced #findings, because, of course, the world was just dying for that extra mile of #HNSW wisdom. 🙄
    antirez.com/news/156 #breakthroughs #tech #innovation #brain #dump #HackerNews #ngated

  26. [Перевод] Как я построил RAG-систему за вечер с помощью 5 open source-инструментов

    Команда Python for Devs подготовила практическое руководство по сборке полноценной RAG-системы из пяти open source-инструментов. MarkItDown, LangChain, ChromaDB, Ollama и Gradio превращают разрозненные документы в умную базу знаний с потоковой генерацией ответов. Всё локально, без облаков и с открытым кодом — попробуйте собрать свой ChatGPT прямо у себя.

    habr.com/ru/articles/955798/

    #python #rag #chromadb #ollama #hnsw #langchain

  27. [Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки

    Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.

    habr.com/ru/articles/947632/

    #векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api

  28. Векторный поиск в Elasticsearch: dense_vector, HNSW и фильтрация по атрибутам

    Привет, Хабр! В современном поиске всё чаще используется поиск «по смыслу» с помощью векторных эмбеддингов. Вместо привычного анализа текста по словам мы представляем документы и запросы в виде многомерных векторов и ищем ближайших соседей по евклидовому или косинусному расстоянию. Это позволяет, например, находить документы, схожие по смыслу, а не только по точному совпадению слов. В Elasticsearch поддержка такого поиска реализована через поле dense_vector и алгоритм HNSW (Hierarchical Navigable Small World) для быстрого приближённого поиска ближайших соседей. В этой статье разберём, как настроить индекс с векторным полем, добавить документы с векторами и выполнять запросы kNN с возможностью фильтрации по дополнительным атрибутам.

    habr.com/ru/companies/otus/art

    #elasticsearch #векторный_поиск #семантический_поиск #фильтрация_по_атрибутам #dense_vector #HNSW

  29. Сравниваем быстродействие новой функциональности ClickHouse по поиску ближайших векторов с другими решениями

    Всем привет! Меня зовут Диана Бутько, я студентка 3 курса, изучаю информационные системы и программирование. В InfoWatch я пришла на практику, и одной из моих задач стал сравнительный анализ различных методов поиска похожих векторов. Это один из ключевых аспектов машинного обучения и анализа данных, используемых в рекомендательных системах, кластеризации, семантическом поиске и других областях. Но чем больше объем данных, тем важнее становится выбор инструментов: полный перебор векторов требует больших вычислительных ресурсов, а в других алгоритмах порой необходимо балансировать между точностью и скоростью поиска. В этой статье я сравниваю пять методов поиска похожих векторов: — полный перебор по евклидову расстоянию с реализацией в Python; — FAISS с индексами IndexFlatL2 (полный перебор, евклидово расстояние) и IndexIVFFlat (сегментирование по ячейкам, евклидово расстояние); — векторный поиск в ClickHouse с индексом HNSW и метриками расстояния L2Distance (евклидово расстояние) и cosineDistance (косинусное сходство).

    habr.com/ru/companies/infowatc

    #clickhouse #knn #faiss #hnsw

  30. I like the highway, road, street analogy for #HNSW 🛣️
    highways get you far quickly and are interconnected but they also connect down to roads. which are interconnected and get you to streets. which take you to your final address and the surrounding neighborhood

  31. I like the highway, road, street analogy for #HNSW 🛣️
    highways get you far quickly and are interconnected but they also connect down to roads. which are interconnected and get you to streets. which take you to your final address and the surrounding neighborhood

  32. pgvector 0.6.0 has been released 🎉

    It now supports parallel index builds for HNSW 🗂️

    Building an HNSW index is now up to 30x faster for unlogged tables ⚡

    For full release notes, please review the pgvector changelog 👇
    github.com/pgvector/pgvector/b

    #pgvector #vectors #embeddings #postgresql #darabase #release #hnsw #indexes

  33. pgvector 0.6.0 has been released 🎉

    It now supports parallel index builds for HNSW 🗂️

    Building an HNSW index is now up to 30x faster for unlogged tables ⚡

    For full release notes, please review the pgvector changelog 👇
    github.com/pgvector/pgvector/b

    #pgvector #vectors #embeddings #postgresql #darabase #release #hnsw #indexes