#semantic_search — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #semantic_search, aggregated by home.social.
-
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами.
https://habr.com/ru/articles/1013832/
#RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии
-
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами.
https://habr.com/ru/articles/1013832/
#RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии
-
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами.
https://habr.com/ru/articles/1013832/
#RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии
-
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами.
https://habr.com/ru/articles/1013832/
#RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии
-
Vector Data in .NET – Building Blocks for AI Part 2
https://devblogs.microsoft.com/dotnet/vector-data-in-dotnet-building-blocks-for-ai-part-2/#microsoft #NET #AI #C #Embeddings #Microsoft_Extensions_VectorData #rag #semantic_search #vector_search
-
Vector Data in .NET – Building Blocks for AI Part 2
https://devblogs.microsoft.com/dotnet/vector-data-in-dotnet-building-blocks-for-ai-part-2/#microsoft #NET #AI #C #Embeddings #Microsoft_Extensions_VectorData #rag #semantic_search #vector_search
-
Everything as code: How we manage our company in one monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as code: How we manage our company in one monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as code: How we manage our company in one monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as code: How we manage our company in one monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as Code: How We Manage Our Company in One Monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as Code: How We Manage Our Company in One Monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as Code: How We Manage Our Company in One Monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
Everything as Code: How We Manage Our Company in One Monorepo
https://www.kasava.dev/blog/everything-as-code-monorepo
#ycombinator #AI_development_platform #product_development #AI_code_search #bug_tracking #PRD_generator #GitHub_integration #Linear_integration #Jira_integration #AI_assistant #semantic_search -
🛠️ Tool
===================Opening: EventSight is an AI-powered toolkit for Windows Event Log analysis composed of two linked projects: a standalone Eventsight CLI and an Eventsight-MCP server for Claude Code integration. The repository centralizes analyst feedback and correlation rules in a shared learnings database to improve semantic retrieval over time.
Key Features:
• EVTX parsing and batch analysis for Security event sets with streaming output and report generation in HTML/Markdown.
• Continuous monitoring mode with a live HTML dashboard that auto-refreshes to present ongoing findings.
• Shared learnings database containing learnings.db, events.db, embeddings.npy, and event_embeddings.npy to persist analyst teachings, correlation rules, and indexed event vectors.
• Two RAG modalities: Standard RAG for deterministic lookup and fast vector similarity; Agentic RAG via Eventsight-MCP that uses Claude Code to interpret natural-language feedback and orchestrate tools.
• MCP toolset: A collection of 16 MCP tools exposed by Eventsight-MCP to enable programmatic analysis, semantic event search, feedback ingestion, and export/import of learnings.Technical Implementation (conceptual):
• Data layer: Persistent SQLite-like databases (analyst learnings, stored events) plus 384-dimensional embeddings stored in embeddings.npy and event_embeddings.npy for semantic search and similarity scoring.
• Retrieval modes: Standard RAG performs embedding→similarity search→Top-K retrieval with an O(1) Event ID path when available. Agentic RAG routes natural-language input to an LLM (Claude) which selects and composes MCP tools to perform searches, create learnings, or mark findings.
• Integration: Eventsight-MCP exposes tools to Claude Code, enabling analyst-style commands via natural language such as marking findings benign or generating generalized learnings.Use Cases:
• Forensic analysts processing bulk EVTX files and producing reproducible HTML reports.
• SOC teams that want a feedback loop: analyst corrections persist as learnings and improve subsequent semantic searches.
• Interactive investigation workflows where an LLM coordinates multiple analysis tools and refines correlation rules.Limitations and Considerations:
• The toolset targets Windows Event Log formats (EVTX) and relies on embeddings and an LLM for Agentic RAG behaviors.
• Shared learnings imply a data consolidation point; operational controls around data governance and model inputs may be required in production deployments.
• Deterministic Standard RAG is suited to batch, reproducible analysis while Agentic RAG favors conversational, generalized learning creation.References / Artifacts:
• Notable files: learnings.db, events.db, embeddings.npy, event_embeddings.npy, Eventsight and Eventsight-MCP components. -
28M Hacker News comments as vector embedding search dataset
https://clickhouse.com/docs/getting-started/example-datasets/hackernews-vector-search-dataset
#ycombinator #semantic_search #vector_similarity #approximate_nearest_neighbours #embeddings -
28M Hacker News comments as vector embedding search dataset
https://clickhouse.com/docs/getting-started/example-datasets/hackernews-vector-search-dataset
#ycombinator #semantic_search #vector_similarity #approximate_nearest_neighbours #embeddings -
28M Hacker News comments as vector embedding search dataset
https://clickhouse.com/docs/getting-started/example-datasets/hackernews-vector-search-dataset
#ycombinator #semantic_search #vector_similarity #approximate_nearest_neighbours #embeddings -
28M Hacker News comments as vector embedding search dataset
https://clickhouse.com/docs/getting-started/example-datasets/hackernews-vector-search-dataset
#ycombinator #semantic_search #vector_similarity #approximate_nearest_neighbours #embeddings -
[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
https://habr.com/ru/articles/947632/
#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api
-
[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
https://habr.com/ru/articles/947632/
#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api
-
[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
https://habr.com/ru/articles/947632/
#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api
-
[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки
Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.
https://habr.com/ru/articles/947632/
#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api
-
RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai
Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме
https://habr.com/ru/companies/ruvds/articles/924100/
#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст
-
RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai
Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме
https://habr.com/ru/companies/ruvds/articles/924100/
#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст
-
RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai
Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме
https://habr.com/ru/companies/ruvds/articles/924100/
#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст
-
RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai
Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме
https://habr.com/ru/companies/ruvds/articles/924100/
#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст
-
Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач
Что важнее: создать продукт , или доставить его до пользователя ? Оба этапа необходимы. Сегодня обсудим второй . Как нам построить поисковую e-com систему. Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку , но и настройка поисковой выдачи по запросу. Быстро соберем поисковой MVP-сервис . Дообучим модель E5 на реальных данных от Amazon . Определим метрики качества и сравним BM25 , pretrain E5 и fine-tune E5 . Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач . И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности. Погрузиться в семантический поиск →
https://habr.com/ru/companies/datafeel/articles/925290/
#machine_learning #information_retrieval #semantic_search #huggingface #pytorch #nlp #e5 #streamlit #mvp #дообучение_моделей
-
Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач
Что важнее: создать продукт , или доставить его до пользователя ? Оба этапа необходимы. Сегодня обсудим второй . Как нам построить поисковую e-com систему. Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку , но и настройка поисковой выдачи по запросу. Быстро соберем поисковой MVP-сервис . Дообучим модель E5 на реальных данных от Amazon . Определим метрики качества и сравним BM25 , pretrain E5 и fine-tune E5 . Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач . И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности. Погрузиться в семантический поиск →
https://habr.com/ru/companies/datafeel/articles/925290/
#machine_learning #information_retrieval #semantic_search #huggingface #pytorch #nlp #e5 #streamlit #mvp #дообучение_моделей
-
Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач
Что важнее: создать продукт , или доставить его до пользователя ? Оба этапа необходимы. Сегодня обсудим второй . Как нам построить поисковую e-com систему. Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку , но и настройка поисковой выдачи по запросу. Быстро соберем поисковой MVP-сервис . Дообучим модель E5 на реальных данных от Amazon . Определим метрики качества и сравним BM25 , pretrain E5 и fine-tune E5 . Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач . И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности. Погрузиться в семантический поиск →
https://habr.com/ru/companies/datafeel/articles/925290/
#machine_learning #information_retrieval #semantic_search #huggingface #pytorch #nlp #e5 #streamlit #mvp #дообучение_моделей
-
Мама, у меня RAG: пути к улучшению, когда он «наивный»
В последние пару лет RAG (retrieval-augmented generation) стал одной из самых обсуждаемых технологий в области обработки текстов и поисковых систем. Его идея проста: объединить поиск (retrieval) и генерацию (generation), чтобы быстрее находить нужную информацию и создавать более точные тексты. Рост объёмов данных и информационного шума привёл к тому, что классические методы поиска и генерации уже не всегда справляются с новыми задачами. Например, большие языковые модели без доступа к актуальной информации могут искажать факты, а традиционные поисковики при запросах на естественном языке дают слишком общий результат. RAG решает эти проблемы, добавляя дополнительный "слой знаний" за счёт внешних баз данных, что особенно полезно для чат-ботов, систем вопрос-ответ, рекомендательных сервисов и многих других приложений. Целью данной статьи является погружение читателя в технологию RAG, а также ознакомление с основными критериями и методами его улучшения. В этой статье мы обсудим, как именно устроен RAG, как правильно оценивать его эффективность и какие существуют техники улучшения – от уже известных методов до совершенно новых решений.
https://habr.com/ru/articles/885770/
#graph_rag #RAG #retrival_augumented_generation #llmмодели #knowledge_graph #graphrag #semantic_search #genai #ии_и_машинное_обучение
-
Мама, у меня RAG: пути к улучшению, когда он «наивный»
В последние пару лет RAG (retrieval-augmented generation) стал одной из самых обсуждаемых технологий в области обработки текстов и поисковых систем. Его идея проста: объединить поиск (retrieval) и генерацию (generation), чтобы быстрее находить нужную информацию и создавать более точные тексты. Рост объёмов данных и информационного шума привёл к тому, что классические методы поиска и генерации уже не всегда справляются с новыми задачами. Например, большие языковые модели без доступа к актуальной информации могут искажать факты, а традиционные поисковики при запросах на естественном языке дают слишком общий результат. RAG решает эти проблемы, добавляя дополнительный "слой знаний" за счёт внешних баз данных, что особенно полезно для чат-ботов, систем вопрос-ответ, рекомендательных сервисов и многих других приложений. Целью данной статьи является погружение читателя в технологию RAG, а также ознакомление с основными критериями и методами его улучшения. В этой статье мы обсудим, как именно устроен RAG, как правильно оценивать его эффективность и какие существуют техники улучшения – от уже известных методов до совершенно новых решений.
https://habr.com/ru/articles/885770/
#graph_rag #RAG #retrival_augumented_generation #llmмодели #knowledge_graph #graphrag #semantic_search #genai #ии_и_машинное_обучение
-
Мама, у меня RAG: пути к улучшению, когда он «наивный»
В последние пару лет RAG (retrieval-augmented generation) стал одной из самых обсуждаемых технологий в области обработки текстов и поисковых систем. Его идея проста: объединить поиск (retrieval) и генерацию (generation), чтобы быстрее находить нужную информацию и создавать более точные тексты. Рост объёмов данных и информационного шума привёл к тому, что классические методы поиска и генерации уже не всегда справляются с новыми задачами. Например, большие языковые модели без доступа к актуальной информации могут искажать факты, а традиционные поисковики при запросах на естественном языке дают слишком общий результат. RAG решает эти проблемы, добавляя дополнительный "слой знаний" за счёт внешних баз данных, что особенно полезно для чат-ботов, систем вопрос-ответ, рекомендательных сервисов и многих других приложений. Целью данной статьи является погружение читателя в технологию RAG, а также ознакомление с основными критериями и методами его улучшения. В этой статье мы обсудим, как именно устроен RAG, как правильно оценивать его эффективность и какие существуют техники улучшения – от уже известных методов до совершенно новых решений.
https://habr.com/ru/articles/885770/
#graph_rag #RAG #retrival_augumented_generation #llmмодели #knowledge_graph #graphrag #semantic_search #genai #ии_и_машинное_обучение
-
Мама, у меня RAG: пути к улучшению, когда он «наивный»
В последние пару лет RAG (retrieval-augmented generation) стал одной из самых обсуждаемых технологий в области обработки текстов и поисковых систем. Его идея проста: объединить поиск (retrieval) и генерацию (generation), чтобы быстрее находить нужную информацию и создавать более точные тексты. Рост объёмов данных и информационного шума привёл к тому, что классические методы поиска и генерации уже не всегда справляются с новыми задачами. Например, большие языковые модели без доступа к актуальной информации могут искажать факты, а традиционные поисковики при запросах на естественном языке дают слишком общий результат. RAG решает эти проблемы, добавляя дополнительный "слой знаний" за счёт внешних баз данных, что особенно полезно для чат-ботов, систем вопрос-ответ, рекомендательных сервисов и многих других приложений. Целью данной статьи является погружение читателя в технологию RAG, а также ознакомление с основными критериями и методами его улучшения. В этой статье мы обсудим, как именно устроен RAG, как правильно оценивать его эффективность и какие существуют техники улучшения – от уже известных методов до совершенно новых решений.
https://habr.com/ru/articles/885770/
#graph_rag #RAG #retrival_augumented_generation #llmмодели #knowledge_graph #graphrag #semantic_search #genai #ии_и_машинное_обучение
-
eShop infused with AI – a comprehensive intelligent app sample
https://devblogs.microsoft.com/dotnet/e-shop-infused-with-ai-comprehensive-intelligent-dotnet-app-sample/#microsoft #NET #NET_Aspire #NET_Core #AI #ASP_NET_Core #Blazor #C #Cloud_Native #chatbot #classification #e2e_testing #evaluation_tool #intelligent_apps #semantic_search #sentiment_scoring #summarization #test_data_generation
-
eShop infused with AI – a comprehensive intelligent app sample
https://devblogs.microsoft.com/dotnet/e-shop-infused-with-ai-comprehensive-intelligent-dotnet-app-sample/#microsoft #NET #NET_Aspire #NET_Core #AI #ASP_NET_Core #Blazor #C #Cloud_Native #chatbot #classification #e2e_testing #evaluation_tool #intelligent_apps #semantic_search #sentiment_scoring #summarization #test_data_generation