#bm25 — Public Fediverse posts

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

RAG в enterprise: 70-80% проблем не в модели, а в данных

Эта статья родилась из работы над

https://habr.com/ru/companies/alpinadigital/articles/1036196/

#RAG #enterprise_AI #retrieval_augmented_generation #embeddings #GraphRAG #Agentic_RAG #BM25 #chunking #LLM #AlpinaGPT

Гибридный поиск в Manticore Search

Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.

https://habr.com/ru/articles/1018754/

#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag

Гибридный поиск в Manticore Search

Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.

https://habr.com/ru/articles/1018754/

#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag

Гибридный поиск в Manticore Search

Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.

https://habr.com/ru/articles/1018754/

#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag

Гибридный поиск в Manticore Search

Поиск редко сводится к одному универсальному сценарию. Пользователь, вводящий "cheap running shoes", хочет точных совпадений по ключевым словам, а пользователь, задающий "comfortable footwear for jogging", выражает то же намерение другими словами. Традиционный полнотекстовый поиск хорошо справляется с первым случаем. Векторный поиск решает второй. Гибридный поиск объединяет оба в одном запросе, так что вам не приходится выбирать. В современных поисковых системах это часто описывается как комбинирование лексического (разреженного) поиска с семантическим (плотным) поиском . Разные термины, одна идея: точное совпадение плюс смысл.

https://habr.com/ru/articles/1018754/

#гибридный_поиск #полнотекстовый_поиск #векторный_поиск #full_text_search #knnsearch #vector_search #bm25 #rag

👴🧙‍♂️ Oh look, another "graybeard" programmer claiming to have conquered the #Postgres #search universe with a #GitHub repository and a sprinkle of fairy dust. 🚀✨ The article boasts about a magical #BM25 search extension like it's the iPhone of database queries, but spoiler alert: it's still just Postgres with a fancy name tag. 🏷️🤖
https://github.com/timescale/pg_textsearch #graybeardprogrammer #databasequeries #HackerNews #ngated

👴🧙‍♂️ Oh look, another "graybeard" programmer claiming to have conquered the #Postgres #search universe with a #GitHub repository and a sprinkle of fairy dust. 🚀✨ The article boasts about a magical #BM25 search extension like it's the iPhone of database queries, but spoiler alert: it's still just Postgres with a fancy name tag. 🏷️🤖
https://github.com/timescale/pg_textsearch #graybeardprogrammer #databasequeries #HackerNews #ngated

👴🧙‍♂️ Oh look, another "graybeard" programmer claiming to have conquered the #Postgres #search universe with a #GitHub repository and a sprinkle of fairy dust. 🚀✨ The article boasts about a magical #BM25 search extension like it's the iPhone of database queries, but spoiler alert: it's still just Postgres with a fancy name tag. 🏷️🤖
https://github.com/timescale/pg_textsearch #graybeardprogrammer #databasequeries #HackerNews #ngated

👴🧙‍♂️ Oh look, another "graybeard" programmer claiming to have conquered the #Postgres #search universe with a #GitHub repository and a sprinkle of fairy dust. 🚀✨ The article boasts about a magical #BM25 search extension like it's the iPhone of database queries, but spoiler alert: it's still just Postgres with a fancy name tag. 🏷️🤖
https://github.com/timescale/pg_textsearch #graybeardprogrammer #databasequeries #HackerNews #ngated

👴🧙‍♂️ Oh look, another "graybeard" programmer claiming to have conquered the #Postgres #search universe with a #GitHub repository and a sprinkle of fairy dust. 🚀✨ The article boasts about a magical #BM25 search extension like it's the iPhone of database queries, but spoiler alert: it's still just Postgres with a fancy name tag. 🏷️🤖
https://github.com/timescale/pg_textsearch #graybeardprogrammer #databasequeries #HackerNews #ngated

How This Graybeard Built the Fastest and Freest Postgres BM25 Search

https://github.com/timescale/pg_textsearch

#HackerNews #Graybeard #Postgres #BM25 #Search #Fastest #Search #Engine #Open #Source #Database #Technology

How This Graybeard Built the Fastest and Freest Postgres BM25 Search

https://github.com/timescale/pg_textsearch

#HackerNews #Graybeard #Postgres #BM25 #Search #Fastest #Search #Engine #Open #Source #Database #Technology

How This Graybeard Built the Fastest and Freest Postgres BM25 Search

https://github.com/timescale/pg_textsearch

#HackerNews #Graybeard #Postgres #BM25 #Search #Fastest #Search #Engine #Open #Source #Database #Technology

How This Graybeard Built the Fastest and Freest Postgres BM25 Search

https://github.com/timescale/pg_textsearch

#HackerNews #Graybeard #Postgres #BM25 #Search #Fastest #Search #Engine #Open #Source #Database #Technology

How This Graybeard Built the Fastest and Freest Postgres BM25 Search

https://github.com/timescale/pg_textsearch

#HackerNews #Graybeard #Postgres #BM25 #Search #Fastest #Search #Engine #Open #Source #Database #Technology

От 0.034 до 0.791 и обратно: Legal RAG, 17 итераций и стена масштабирования

Я участвовал в ARLC 2026 — юридическом AI-челлендже по построению RAG-пайплайна поверх корпуса судебных решений и законов. Соло, с Claude Code в качестве напарника. За 5 дней и 17 итераций прошёл путь от 0.034 до 0.791 на warmup — а потом вышел в финал и потерял 42% на 300 документах вместо 30. Внутри — архитектура, код, математика F-beta, три провала и честный разбор работы с AI-ассистентом.

https://habr.com/ru/articles/1014758/

#RAG #retrieval_augmented_generation #legal_AI #Claude #grounding #BM25 #reranking #NLP #соревнование

От 0.034 до 0.791 и обратно: Legal RAG, 17 итераций и стена масштабирования

Я участвовал в ARLC 2026 — юридическом AI-челлендже по построению RAG-пайплайна поверх корпуса судебных решений и законов. Соло, с Claude Code в качестве напарника. За 5 дней и 17 итераций прошёл путь от 0.034 до 0.791 на warmup — а потом вышел в финал и потерял 42% на 300 документах вместо 30. Внутри — архитектура, код, математика F-beta, три провала и честный разбор работы с AI-ассистентом.

https://habr.com/ru/articles/1014758/

#RAG #retrieval_augmented_generation #legal_AI #Claude #grounding #BM25 #reranking #NLP #соревнование

От 0.034 до 0.791 и обратно: Legal RAG, 17 итераций и стена масштабирования

Я участвовал в ARLC 2026 — юридическом AI-челлендже по построению RAG-пайплайна поверх корпуса судебных решений и законов. Соло, с Claude Code в качестве напарника. За 5 дней и 17 итераций прошёл путь от 0.034 до 0.791 на warmup — а потом вышел в финал и потерял 42% на 300 документах вместо 30. Внутри — архитектура, код, математика F-beta, три провала и честный разбор работы с AI-ассистентом.

https://habr.com/ru/articles/1014758/

#RAG #retrieval_augmented_generation #legal_AI #Claude #grounding #BM25 #reranking #NLP #соревнование

От 0.034 до 0.791 и обратно: Legal RAG, 17 итераций и стена масштабирования

Я участвовал в ARLC 2026 — юридическом AI-челлендже по построению RAG-пайплайна поверх корпуса судебных решений и законов. Соло, с Claude Code в качестве напарника. За 5 дней и 17 итераций прошёл путь от 0.034 до 0.791 на warmup — а потом вышел в финал и потерял 42% на 300 документах вместо 30. Внутри — архитектура, код, математика F-beta, три провала и честный разбор работы с AI-ассистентом.

https://habr.com/ru/articles/1014758/

#RAG #retrieval_augmented_generation #legal_AI #Claude #grounding #BM25 #reranking #NLP #соревнование

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM. Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

https://habr.com/ru/articles/996144/

#RAG #машинное_обучение_нейросети_python #NLP #Построение_поисковых_систем #FAISS #BM25 #Tesseract #OCR #PDF #Embeddings

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM. Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

https://habr.com/ru/articles/996144/

#RAG #машинное_обучение_нейросети_python #NLP #Построение_поисковых_систем #FAISS #BM25 #Tesseract #OCR #PDF #Embeddings

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM. Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

https://habr.com/ru/articles/996144/

#RAG #машинное_обучение_нейросети_python #NLP #Построение_поисковых_систем #FAISS #BM25 #Tesseract #OCR #PDF #Embeddings

Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM. Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

https://habr.com/ru/articles/996144/

#RAG #машинное_обучение_нейросети_python #NLP #Построение_поисковых_систем #FAISS #BM25 #Tesseract #OCR #PDF #Embeddings

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.

https://habr.com/ru/articles/987954/

#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.

https://habr.com/ru/articles/987954/

#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.

https://habr.com/ru/articles/987954/

#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.

https://habr.com/ru/articles/987954/

#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных

🚀 **Cập nhật `pg_search`: Hỗ trợ tìm kiếm facet** với giao diện tùy chỉnh, kết hợp lập kế hoạch và quét trực tiếp để tối ưu hóa BM25 index (dựa trên Tantivy). Kết quả trả về JSON kèm thống kê nhanh nhờ cấu trúc cột. #pg_search #PostgreSQL #TìmKiếmTốiƯu #BM25 #FacetedSearch #CơSởDữLiệu #DevUpdate

(*tags: #postgresql #facetsearch #tantivy #databases #developernews*)

https://www.paradedb.com/blog/faceting

New research shows how hierarchical retrieval can slash noise and keep prompt length in check for massive corpora. By pairing BM25 with dense embeddings, it trims latency and metadata bloat while preserving RAG relevance. Curious how this reshapes context size limits? Read on! #HierarchicalRetrieval #BM25 #RAG #ContextSize

🔗 https://aidailypost.com/news/hierarchical-retrieval-cuts-noise-controls-context-size-large-corpora

New research shows how hierarchical retrieval can slash noise and keep prompt length in check for massive corpora. By pairing BM25 with dense embeddings, it trims latency and metadata bloat while preserving RAG relevance. Curious how this reshapes context size limits? Read on! #HierarchicalRetrieval #BM25 #RAG #ContextSize

🔗 https://aidailypost.com/news/hierarchical-retrieval-cuts-noise-controls-context-size-large-corpora

Noch zwei Stunden! Kennst Du die Antwort?

#Suchmaschine #search #quiz #bm25 #okapi #opensource #opencode #ranking #math #data #science

🌱 Unser Gehirn: der Suchalgorithmus 🌍

Wie kommt die Reihenfolge unserer Suchergebnisse zustande?

Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.

Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse

#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25

🌱 Unser Gehirn: der Suchalgorithmus 🌍

Wie kommt die Reihenfolge unserer Suchergebnisse zustande?

Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.

Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse

#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25

🌱 Unser Gehirn: der Suchalgorithmus 🌍

Wie kommt die Reihenfolge unserer Suchergebnisse zustande?

Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.

Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse

#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25

🌱 Unser Gehirn: der Suchalgorithmus 🌍

Wie kommt die Reihenfolge unserer Suchergebnisse zustande?

Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.

Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse

#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25

🌱 Unser Gehirn: der Suchalgorithmus 🌍

Wie kommt die Reihenfolge unserer Suchergebnisse zustande?

Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.

Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse

#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25

We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?

In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.

https://www.zansara.dev/posts/2025-11-04-hybrid-retrieval/

#AI #GenAI #LLMs #BM25 #Embedding #Retrieval #RAG

We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?

In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.

https://www.zansara.dev/posts/2025-11-04-hybrid-retrieval/

#AI #GenAI #LLMs #BM25 #Embedding #Retrieval #RAG

We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?

In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.

https://www.zansara.dev/posts/2025-11-04-hybrid-retrieval/

#AI #GenAI #LLMs #BM25 #Embedding #Retrieval #RAG

We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?

In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.

https://www.zansara.dev/posts/2025-11-04-hybrid-retrieval/

#AI #GenAI #LLMs #BM25 #Embedding #Retrieval #RAG

We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?

In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.

https://www.zansara.dev/posts/2025-11-04-hybrid-retrieval/

#AI #GenAI #LLMs #BM25 #Embedding #Retrieval #RAG

"pg_textsearch trong Postgres 공식 hỗ trợ ranking BM25 hoàn chỉnh và tim kiếm hợp tác. Nâng cao độ chính xác tìm kiếm cho cơ sở dữ liệu! #PostgreSQL #BM25 #TìmKiếm #CơSảnDữLiệu #XếpX满"

https://www.reddit.com/r/programming/comments/1oe9con/from_ts_rank_to_bm25_introducing_pg_textsearch/

🚀 Tôi đã hoàn thànhстер structure một moteur tìm kiếm độc lập bằng Java! Sử dụng算法 TF-IDF và BM25, hỗ trợ token hóa, xóa từ trống, và ranking văn bản. Hoàn hảo bằng Java 21, không dùng thư viện bên outsourcing. versione opensourcerecipes trong GitHub. Learn rao về thông tin trích xuất và cơ sở dữ liệu!
#SearchEngine #Java #TFIDF #BM25 #OpenSource #LearningProject #TiemKiem #JavaCor #LapTrinh #NgoQuyet

https://www.reddit.com/r/opensource/comments/1o5wf1y/built_my_own_search_engine_from_scratc

Разбираем на запчасти поисковый сервис в Яндекс Лавке

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: — Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. — Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. — Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей. В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

https://habr.com/ru/companies/yandex/articles/924198/

#поиск #mlops #ml_design #bm25 #DSSM #catboost #яндекславка #machinelearning

Разбираем на запчасти поисковый сервис в Яндекс Лавке

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: — Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. — Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. — Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей. В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

https://habr.com/ru/companies/yandex/articles/924198/

#поиск #mlops #ml_design #bm25 #DSSM #catboost #яндекславка #machinelearning

Разбираем на запчасти поисковый сервис в Яндекс Лавке

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: — Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. — Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. — Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей. В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

https://habr.com/ru/companies/yandex/articles/924198/

#поиск #mlops #ml_design #bm25 #DSSM #catboost #яндекславка #machinelearning

Разбираем на запчасти поисковый сервис в Яндекс Лавке

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: — Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. — Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. — Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей. В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

https://habr.com/ru/companies/yandex/articles/924198/

#поиск #mlops #ml_design #bm25 #DSSM #catboost #яндекславка #machinelearning