#оптимизация_поиска — Public Fediverse posts

Как ускорить поиск фраз в Manticore Search

bigram_index можно использовать для разных задач, но в этой статье мы говорим именно о производительности поиска фраз: в приведённом ниже бенчмарке на 1 млн документов bigram_index='all' повысил QPS примерно в 2.9x и сократил среднее время ответа фразовых запросов примерно в 3.2x . Если ваша основная проблема — сопоставление xt850 с xt 850 , а не ускорение поиска фраз, см. Как заставить xt850 совпадать с xt 850 . Поиск по фразам бывает дорогим. Даже если запрос короткий, движку всё равно нужно проверять порядок слов и стоят ли они рядом, и это особенно заметно, когда:

https://habr.com/ru/articles/1032442/

#ускорение_поиска #индексация_поиска #оптимизация_поиска #полнотекстовый_поиск #бенчмарк

Как ускорить поиск фраз в Manticore Search

bigram_index можно использовать для разных задач, но в этой статье мы говорим именно о производительности поиска фраз: в приведённом ниже бенчмарке на 1 млн документов bigram_index='all' повысил QPS примерно в 2.9x и сократил среднее время ответа фразовых запросов примерно в 3.2x . Если ваша основная проблема — сопоставление xt850 с xt 850 , а не ускорение поиска фраз, см. Как заставить xt850 совпадать с xt 850 . Поиск по фразам бывает дорогим. Даже если запрос короткий, движку всё равно нужно проверять порядок слов и стоят ли они рядом, и это особенно заметно, когда:

https://habr.com/ru/articles/1032442/

#ускорение_поиска #индексация_поиска #оптимизация_поиска #полнотекстовый_поиск #бенчмарк

Как ускорить поиск фраз в Manticore Search

bigram_index можно использовать для разных задач, но в этой статье мы говорим именно о производительности поиска фраз: в приведённом ниже бенчмарке на 1 млн документов bigram_index='all' повысил QPS примерно в 2.9x и сократил среднее время ответа фразовых запросов примерно в 3.2x . Если ваша основная проблема — сопоставление xt850 с xt 850 , а не ускорение поиска фраз, см. Как заставить xt850 совпадать с xt 850 . Поиск по фразам бывает дорогим. Даже если запрос короткий, движку всё равно нужно проверять порядок слов и стоят ли они рядом, и это особенно заметно, когда:

https://habr.com/ru/articles/1032442/

#ускорение_поиска #индексация_поиска #оптимизация_поиска #полнотекстовый_поиск #бенчмарк

Как ускорить поиск фраз в Manticore Search

bigram_index можно использовать для разных задач, но в этой статье мы говорим именно о производительности поиска фраз: в приведённом ниже бенчмарке на 1 млн документов bigram_index='all' повысил QPS примерно в 2.9x и сократил среднее время ответа фразовых запросов примерно в 3.2x . Если ваша основная проблема — сопоставление xt850 с xt 850 , а не ускорение поиска фраз, см. Как заставить xt850 совпадать с xt 850 . Поиск по фразам бывает дорогим. Даже если запрос короткий, движку всё равно нужно проверять порядок слов и стоят ли они рядом, и это особенно заметно, когда:

https://habr.com/ru/articles/1032442/

#ускорение_поиска #индексация_поиска #оптимизация_поиска #полнотекстовый_поиск #бенчмарк

Предварительная фильтрация KNN в Manticore Search

Векторный поиск редко используется сам по себе. Почти всегда есть фильтры — диапазон цен, категория, временное окно, географическая граница. Вопрос в том, когда именно эти фильтры применяются. Ответ оказывает неожиданно большое влияние на качество результатов. Предварительная фильтрация KNN доступна в Manticore Search начиная с версии 19.0.1 .

https://habr.com/ru/articles/1020166/

#knnsearch #алгоритмы_и_структуры_данных #полнотекстовый_поиск #векторный_поиск #оптимизация_поиска #фильтрация_данных #эмбеддинги

Предварительная фильтрация KNN в Manticore Search

Векторный поиск редко используется сам по себе. Почти всегда есть фильтры — диапазон цен, категория, временное окно, географическая граница. Вопрос в том, когда именно эти фильтры применяются. Ответ оказывает неожиданно большое влияние на качество результатов. Предварительная фильтрация KNN доступна в Manticore Search начиная с версии 19.0.1 .

https://habr.com/ru/articles/1020166/

#knnsearch #алгоритмы_и_структуры_данных #полнотекстовый_поиск #векторный_поиск #оптимизация_поиска #фильтрация_данных #эмбеддинги

Предварительная фильтрация KNN в Manticore Search

Векторный поиск редко используется сам по себе. Почти всегда есть фильтры — диапазон цен, категория, временное окно, географическая граница. Вопрос в том, когда именно эти фильтры применяются. Ответ оказывает неожиданно большое влияние на качество результатов. Предварительная фильтрация KNN доступна в Manticore Search начиная с версии 19.0.1 .

https://habr.com/ru/articles/1020166/

#knnsearch #алгоритмы_и_структуры_данных #полнотекстовый_поиск #векторный_поиск #оптимизация_поиска #фильтрация_данных #эмбеддинги

Предварительная фильтрация KNN в Manticore Search

Векторный поиск редко используется сам по себе. Почти всегда есть фильтры — диапазон цен, категория, временное окно, географическая граница. Вопрос в том, когда именно эти фильтры применяются. Ответ оказывает неожиданно большое влияние на качество результатов. Предварительная фильтрация KNN доступна в Manticore Search начиная с версии 19.0.1 .

https://habr.com/ru/articles/1020166/

#knnsearch #алгоритмы_и_структуры_данных #полнотекстовый_поиск #векторный_поиск #оптимизация_поиска #фильтрация_данных #эмбеддинги

Убейте это немедленно: делаем худший поиск на рынке

За последние шесть лет я прошёл через дюжину проектов, связанных с поиском. Роднило их немногое, кроме того, что практически в каждом я обнаруживал одни и те же ошибки. Не сговариваясь, разные команды спотыкались в одних и тех же местах. Эта статья — каталог самых живучих ошибок при проектировании поиска, кочующих из проекта в проект. Примеры построены на ElasticSearch, но большинство пунктов применимы к любому поисковому стеку. Статья будет полезна как тем, кто еще не делал поисковых систем и столкнулся с проблемой “чистого листа”, так и тем, кто уже имеет какой-то поиск и нутром чует неладное, но не может понять, что не так. А чтобы было интереснее и веселее, разбирать ошибки мы будем в формате вредных советов, следование которым гарантированно испортит UX ваших пользователей и сделает поиск по вашему ресурсу бесполезным, ненадежным и ужасно дорогим. Поехали!

https://habr.com/ru/articles/1017142/

#поиск #elasticsearch #оптимизация_поиска #поиск_в_интернетмагазине #полнотекстовый_поиск

Убейте это немедленно: делаем худший поиск на рынке

За последние шесть лет я прошёл через дюжину проектов, связанных с поиском. Роднило их немногое, кроме того, что практически в каждом я обнаруживал одни и те же ошибки. Не сговариваясь, разные команды спотыкались в одних и тех же местах. Эта статья — каталог самых живучих ошибок при проектировании поиска, кочующих из проекта в проект. Примеры построены на ElasticSearch, но большинство пунктов применимы к любому поисковому стеку. Статья будет полезна как тем, кто еще не делал поисковых систем и столкнулся с проблемой “чистого листа”, так и тем, кто уже имеет какой-то поиск и нутром чует неладное, но не может понять, что не так. А чтобы было интереснее и веселее, разбирать ошибки мы будем в формате вредных советов, следование которым гарантированно испортит UX ваших пользователей и сделает поиск по вашему ресурсу бесполезным, ненадежным и ужасно дорогим. Поехали!

https://habr.com/ru/articles/1017142/

#поиск #elasticsearch #оптимизация_поиска #поиск_в_интернетмагазине #полнотекстовый_поиск

Убейте это немедленно: делаем худший поиск на рынке

За последние шесть лет я прошёл через дюжину проектов, связанных с поиском. Роднило их немногое, кроме того, что практически в каждом я обнаруживал одни и те же ошибки. Не сговариваясь, разные команды спотыкались в одних и тех же местах. Эта статья — каталог самых живучих ошибок при проектировании поиска, кочующих из проекта в проект. Примеры построены на ElasticSearch, но большинство пунктов применимы к любому поисковому стеку. Статья будет полезна как тем, кто еще не делал поисковых систем и столкнулся с проблемой “чистого листа”, так и тем, кто уже имеет какой-то поиск и нутром чует неладное, но не может понять, что не так. А чтобы было интереснее и веселее, разбирать ошибки мы будем в формате вредных советов, следование которым гарантированно испортит UX ваших пользователей и сделает поиск по вашему ресурсу бесполезным, ненадежным и ужасно дорогим. Поехали!

https://habr.com/ru/articles/1017142/

#поиск #elasticsearch #оптимизация_поиска #поиск_в_интернетмагазине #полнотекстовый_поиск

Убейте это немедленно: делаем худший поиск на рынке

За последние шесть лет я прошёл через дюжину проектов, связанных с поиском. Роднило их немногое, кроме того, что практически в каждом я обнаруживал одни и те же ошибки. Не сговариваясь, разные команды спотыкались в одних и тех же местах. Эта статья — каталог самых живучих ошибок при проектировании поиска, кочующих из проекта в проект. Примеры построены на ElasticSearch, но большинство пунктов применимы к любому поисковому стеку. Статья будет полезна как тем, кто еще не делал поисковых систем и столкнулся с проблемой “чистого листа”, так и тем, кто уже имеет какой-то поиск и нутром чует неладное, но не может понять, что не так. А чтобы было интереснее и веселее, разбирать ошибки мы будем в формате вредных советов, следование которым гарантированно испортит UX ваших пользователей и сделает поиск по вашему ресурсу бесполезным, ненадежным и ужасно дорогим. Поехали!

https://habr.com/ru/articles/1017142/

#поиск #elasticsearch #оптимизация_поиска #поиск_в_интернетмагазине #полнотекстовый_поиск

DAG-классификация: как мы научили поиск определять нужную категорию ступенчатым образом

Одна из важнейших задач поиска — релевантная выдача. Простых универсальных решений здесь нет, а улучшение поиска — долгосрочный процесс, где крупные задачи приходится разбивать на небольшие, последовательные шаги. В этой статье делимся тем, как нам в «Магнит Маркете» удалось значительно улучшить качество поиска с помощью нетривиального подхода: ступенчатой классификации категории поискового запроса.

https://habr.com/ru/companies/magnit/articles/975980/

#ml #dag #поиск #ранжирование #релевантный_поиск #релевантность_поисковой_выдачи #data_science #dagмодель #оптимизация_поиска

Умный поиск по заметкам: как оживить «второй мозг» с помощью RAG

Ваша база знаний превратилась в кладбище идей? Я построил RAG-систему, чтобы мой "второй мозг" ожил и стал собеседником. Узнайте, как перейти от хаотичного поиска к осмысленному диалогу с вашими заметками и получить измеримую выгоду для бизнеса.

https://habr.com/ru/articles/929692/

#RAG_система #умный_поиск #личные_заметки #базы_знаний #оптимизация_поиска #корпоративный_RAG

Как работать со словарями данных и оптимизировать запросы в ClickHouse

Приветствуем! На связи вновь Глеб Кононенко и Алексей Диков — разработчики из Лиги Цифровой Экономики. Ранее мы уже немного рассказывали про наш опыт работы с распределенными таблицами в ClickHouse в этой статье . Сегодня хотим поделиться опытом оптимизации запросов и работы со словарями данных. Используемая версия ClickHouse: 23.8.7.24

https://habr.com/ru/companies/digitalleague/articles/779054/

#системы_хранения_данных #оптимизация #оптимизация_поисковых_систем #оптимизация_поиска #clickhouse #словарь