#chromadb — Public Fediverse posts

DS MCP: как дать AI-агенту знание о вашей дизайн-системе

Статья про то, как AI-агенту дали знание о дизайн-системе, чтобы он перестал придумывать несуществующие компоненты и начал верстать из того, что реально есть в проекте. Закрываем очень практичную боль: агент видит макет, умеет писать код, но не понимает, какими компонентами из вашего проекта этот экран нужно собирать. Внутри: Figma MCP, свой DS MCP, React, Jetpack Compose и SwiftUI, поиск по компонентам, ChromaDB, RAG, embeddings, препроцессор для описания дизайн-системы, грабли с чтением файлов, шумом в контексте, устаревающим SKILL.md и честное сравнение подходов по tool calls, токенам и результату. Заходите, читайте и рассказывайте, как вы решаете эту проблему у себя ❤️

https://habr.com/ru/companies/X5Tech/articles/1051322/

#mcp #aiагенты #дизайнсистема #figma_mcp #ds_mcp #rag #chromadb #генерация_верстки #векторный_поиск #frontend

AI-компаньон в проде на третьем месяце — 5 архитектурных решений и инфра-тюнинг

Каждый, кто пробовал собрать AI-чат по типовой схеме — chat-completions API, OpenAI Memory, один эндпоинт Stable Diffusion — рано или поздно упирается в одни и те же стены. Бот забывает разговор через десять реплик. Иногда сервер бодро отвечает HTTP 200, а внутри пустая строка: ни ошибки, ни таймаута, модель просто отказалась говорить и сделала это молча. Один и тот же запрос рисует двух разных персонажей. А одеть нарисованного персонажа в конкретное платье из каталога не получается вообще.

https://habr.com/ru/articles/1042280/

#ИИ #LLM #OpenRouter #Stable_Diffusion #LoRA #ComfyUI #Redis #ChromaDB #Python #чатботы

AI-компаньон в проде на третьем месяце — 5 архитектурных решений и инфра-тюнинг

Каждый, кто пробовал собрать AI-чат по типовой схеме — chat-completions API, OpenAI Memory, один эндпоинт Stable Diffusion — рано или поздно упирается в одни и те же стены. Бот забывает разговор через десять реплик. Иногда сервер бодро отвечает HTTP 200, а внутри пустая строка: ни ошибки, ни таймаута, модель просто отказалась говорить и сделала это молча. Один и тот же запрос рисует двух разных персонажей. А одеть нарисованного персонажа в конкретное платье из каталога не получается вообще.

https://habr.com/ru/articles/1042280/

#ИИ #LLM #OpenRouter #Stable_Diffusion #LoRA #ComfyUI #Redis #ChromaDB #Python #чатботы

AI-компаньон в проде на третьем месяце — 5 архитектурных решений и инфра-тюнинг

Каждый, кто пробовал собрать AI-чат по типовой схеме — chat-completions API, OpenAI Memory, один эндпоинт Stable Diffusion — рано или поздно упирается в одни и те же стены. Бот забывает разговор через десять реплик. Иногда сервер бодро отвечает HTTP 200, а внутри пустая строка: ни ошибки, ни таймаута, модель просто отказалась говорить и сделала это молча. Один и тот же запрос рисует двух разных персонажей. А одеть нарисованного персонажа в конкретное платье из каталога не получается вообще.

https://habr.com/ru/articles/1042280/

#ИИ #LLM #OpenRouter #Stable_Diffusion #LoRA #ComfyUI #Redis #ChromaDB #Python #чатботы

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

Собираем AI-агента нового поколения: Python, RAG и внешние инструменты через MCP (Model Context Protocol)

Ещё пару лет назад типичное LLM-приложение выглядело как последовательная цепочка вызовов: взяли промпт, добавили контекст из векторной базы, отправили в модель, получили ответ. LangChain популяризировал эту парадигму — chains, retrievers, memory — и это работало для простых сценариев вроде «ответь на вопрос по документации». Но бизнес-задачи редко укладываются в линейный пайплайн. Пользователь хочет не просто получить ответ, а чтобы система совершила действие : создала тикет в Jira, отправила письмо, запросила данные из CRM, проверила погоду и только потом сформулировала ответ. Именно здесь на сцену выходят AI-агенты — системы, которые не просто генерируют текст, а автономно принимают решение, какой инструмент вызвать , в каком порядке, и интерпретируют результат. Проблема в том, что до недавнего времени подключение каждого нового инструмента требовало написания «клея» — кастомных функций, обёрнутых в @tool декоратор LangChain, с ручным управлением аутентификацией, обработкой ошибок и сериализацией данных. Для продакшена это быстро превращалось в зоопарк нестандартных интеграций, который сложно поддерживать и масштабировать. Model Context Protocol (MCP) от Anthropic решает эту проблему, предлагая единый стандарт для подключения инструментов и источников данных к LLM-приложениям. Вместо того чтобы для каждого API писать свой адаптер, мы просто запускаем MCP-сервер, который предоставляет инструменты по стандартизированному протоколу. Агент подключается к этому серверу через MCP-клиент и получает доступ ко всем инструментам без лишнего кода. В этой статье мы соберём полноценного агента, который: 1. Умеет работать с внешним миром через MCP (узнавать погоду и создавать GitHub Issues); 2. Имеет доступ к внутренней базе знаний через RAG; 3. Принимает решения по ReAct-подходу с использованием LangGraph. Разбираем код и архитектуру

https://habr.com/ru/articles/1025428/

#python #ai #machine_learning #langchain #langgraph #mcp #rag #chromadb #fastmcp #llm

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты

Я с GitHub Copilot (Claude) собрал полностью локальную RAG-систему с GUI, которая индексирует мои учебники и генерирует по ним отчёты, презентации, конспекты и эссе. Всё работает офлайн. В статье — архитектура, выбор компонентов, процесс совместной разработки с ИИ-ассистентом, грабли и рабочий код.

https://habr.com/ru/articles/1006662/

#python #ai #nlp #LLM #qwen #copilot #claude #chromadb

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

https://habr.com/ru/articles/994618/

#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

ChromaDB Explorer

https://www.chroma-explorer.com/

#HackerNews #ChromaDB #Explorer #ChromaDB #DataVisualization #TechInnovation #DatabaseExplorer

ChromaDB Explorer

https://www.chroma-explorer.com/

#HackerNews #ChromaDB #Explorer #ChromaDB #DataVisualization #TechInnovation #DatabaseExplorer

ChromaDB Explorer
https://www.chroma-explorer.com/
#ycombinator #ChromaDB #vector_database #embeddings #desktop_app #macOS #database_client #machine_learning #semantic_search

ChromaDB Explorer
https://www.chroma-explorer.com/
#ycombinator #ChromaDB #vector_database #embeddings #desktop_app #macOS #database_client #machine_learning #semantic_search

ChromaDB Explorer
https://www.chroma-explorer.com/
#ycombinator #ChromaDB #vector_database #embeddings #desktop_app #macOS #database_client #machine_learning #semantic_search

ChromaDB Explorer
https://www.chroma-explorer.com/
#ycombinator #ChromaDB #vector_database #embeddings #desktop_app #macOS #database_client #machine_learning #semantic_search

Alguém conhece um bom tutorial de #RAG que não use o #ChromaDB como banco vetorial? O desgraçado não está funcionando no #Python 3.10 ou maior graças ao #Pylance

Alguém conhece um bom tutorial de #RAG que não use o #ChromaDB como banco vetorial? O desgraçado não está funcionando no #Python 3.10 ou maior graças ao #Pylance

Alguém conhece um bom tutorial de #RAG que não use o #ChromaDB como banco vetorial? O desgraçado não está funcionando no #Python 3.10 ou maior graças ao #Pylance

Alguém conhece um bom tutorial de #RAG que não use o #ChromaDB como banco vetorial? O desgraçado não está funcionando no #Python 3.10 ou maior graças ao #Pylance

AI Skills 2025: LangChain, RAG & MLOps—The Complete Guide

https://techlife.blog/posts/ai-skills-2025-langchain-rag-mlops-guide/

#LangChain #RAG #MLOps #LangGraph #DeepAgents #Kubernetes #VectorDatabases #ChromaDB #Weaviate #Pinecone #MLflow

AI Skills 2025: LangChain, RAG & MLOps—The Complete Guide

https://techlife.blog/posts/ai-skills-2025-langchain-rag-mlops-guide/

#LangChain #RAG #MLOps #LangGraph #DeepAgents #Kubernetes #VectorDatabases #ChromaDB #Weaviate #Pinecone #MLflow

От страха к успеху: история появления ИИ-помощника в системе «АФИДА»

Привет, Хабр! На связи снова Всеволод Зайковский, заместитель руководителя проекта в «Газпром ЦПС». В прошлый раз я рассказывал, как мы научили нашу систему «АФИДА» распознавать и раскладывать по полочкам тысячи строительных актов с помощью компьютерного зрения. Хаос был побежден, документы оцифрованы, лежали в нужных папках, и их даже можно было найти. Казалось бы — живи и радуйся, но аппетит приходит во время еды. Мы поняли, что система «видит» текст, и задали логичный вопрос: «А можно просто спросить у нее, какую марку бетона использовали для заливки фундамента, и она ответит?». Подумали и решили, что можно. Тогда нам казалось, что прикрутить LLM к нашему архиву, чтобы она работала как умный поисковик, очень просто. Но все оказалось не так радужно. Первая версия нашего «строительного чат-бота» галлюцинировала так, что путала проектную документацию с веб-дизайном, а ответы генерировались по три минуты. Это история о том, как мы прошли путь от игрушечного чат-бота до полноценной RAG-системы в закрытом контуре. Расскажу, как мы запускали нейросети на CPU, почему в нашем сравнительном тесте победил Qwen, и как мы оценивали качество ответов в Excel, когда поняли, что стандартные бенчмарки нам не подходят. Статья будет полезна архитекторам, ML-инженерам, и руководителям, которые ищут рабочие on-premise решения. Если вы тоже пытаетесь внедрить LLM в энтерпрайз без бюджета и тысячи видеокарт — этот кейс для вас.

https://habr.com/ru/companies/gazpromcps/articles/975596/

#Искусственный_интеллект #RAG #Корпоративные_решения #ChromaDB #Qwen #Интеграция_AI #llm #Бэнчмарк

With quite reasonable performance, the #ChromaDB backend selects filters and dives into multi-page transcripts with ease - soon this internal project will be opened up to more users, along with API access (stay tuned!)