#knnsearch — Public Fediverse posts

Manticore Search 28.4.4: быстрый рескоринг KNN, более гибкий диалоговый поиск, упрощённая установка и улучшенные фасеты

Мы выпустили Manticore Search 28.4.4 . В этом релизе ресоринг KNN стал быстрее, диалоговый поиск — гибче, установка и обновление — проще, фасеты получили дополнительные параметры, появились настройки релевантности по умолчанию на уровне таблицы, а также исправления в аутентификации, репликации, совместимости SQL, распределённых запросах и внутренних механизмах columnar/KNN. В этом посте собраны изменения, вышедшие с 27.2.0 по 28.4.4 .

https://habr.com/ru/articles/1062520/

#knn #knnsearch #vector_search #facets #векторный_поиск #фасетный_поиск #sql #релиз #полнотекстовый_поиск

Ускоренное построение KNN-индексов в Manticore

Раньше построение KNN-индекса было самым медленным этапом при сохранении и слиянии чанков в таблицах с векторными атрибутами. Начиная с v27.1.5 , Manticore может задействовать несколько ядер CPU при сохранении чанков, слияниях через OPTIMIZE , авто-оптимизации и ALTER TABLE ... REBUILD KNN . На 16-ядерном Ryzen 9 5950X построение KNN-индекса для 1 миллиона 1536-мерных векторов сократилось с 8 минут до 39 секунд.

https://habr.com/ru/articles/1054750/

#векторный_поиск #knn #knnsearch #hnsw

Как мы ускорили KNN-поиск в Manticore: двухпроходный обход HNSW, пакетная обработка и AVX-512

Кратко: Три изменения в HNSW-поиске ускоряют KNN-поиск до 29% при больших k и дают более 20% прироста при параллельной нагрузке. Без изменений API, без перестроения индексов и без новых настроек — просто более быстрый поиск.

https://habr.com/ru/articles/1050922/

#knn #knnsearch #обработка_больших_данных #обработка_больших_массивов_данных #hnsw #vector_search #векторный_поиск #performance #performance_optimization #производительность

Раннее завершение KNN-поиска в Manticore Search

Современные поисковые системы уже не просто сопоставляют ключевые слова. Когда вы ищете «уютный детектив, действие которого происходит в Париже», а получаете результаты вроде «атмосферный детективный роман во Франции», это векторный поиск в действии: документы и запросы превращаются в списки чисел — эмбеддинги, — а поисковый движок находит документы, чьи векторы ближе всего к вектору запроса. Manticore Search поддерживает это из коробки. Внутри используется структура данных HNSW: граф, который соединяет близкие векторы и позволяет быстро находить ближайших соседей без сканирования каждого документа. Благодаря этому векторный поиск по миллионам документов выполняется за миллисекунды.

https://habr.com/ru/articles/1042064/

#knn #knnsearch #векторный_поиск #семантический_поиск #hnsw #embeddings #oversampling #полнотекстовый_поиск

Предварительная фильтрация KNN в Manticore Search

Векторный поиск редко используется сам по себе. Почти всегда есть фильтры — диапазон цен, категория, временное окно, географическая граница. Вопрос в том, когда именно эти фильтры применяются. Ответ оказывает неожиданно большое влияние на качество результатов. Предварительная фильтрация KNN доступна в Manticore Search начиная с версии 19.0.1 .

https://habr.com/ru/articles/1020166/

#knnsearch #алгоритмы_и_структуры_данных #полнотекстовый_поиск #векторный_поиск #оптимизация_поиска #фильтрация_данных #эмбеддинги

Гибридный поиск в Manticore Search

Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.

https://habr.com/ru/articles/1018754/

#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag

[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки

Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.

https://habr.com/ru/articles/947632/

#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api

Малоиспользуемые возможности ES: векторный поиск

Всем привет! Хочу поделиться опытом применения одной из редко используемых, но полезных функций Elasticsearch, которую успешно применили в одном из проектов. Речь пойдет о векторном поиске...

https://habr.com/ru/articles/922544/

#elasticsearch #векторный_поиск #knnsearch #natural_language_processing #embeddings