#chromadb — Public Fediverse posts

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

Max-severity flaw in #ChromaDB for #AI apps allows server hijacking

https://www.bleepingcomputer.com/news/security/max-severity-flaw-in-chromadb-for-ai-apps-allows-server-hijacking/

#cybersecurity

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

ChromaDB Flaw Enables Server Hijacking via AI Model Exploit

A newly discovered vulnerability, CVE-2026-45829, in ChromaDB's Python FastAPI variant allows hackers to hijack servers by exploiting AI models, with a security expert noting that authentication is present but poorly placed. This flaw lets unauthenticated attackers run arbitrary code on exposed servers by cleverly manipulating API endpoints.

https://osintsights.com/chromadb-flaw-enables-server-hijacking-via-ai-model-exploit?utm_source=mastodon&utm_medium=social

#Cve202645829 #Chromadb #AiModelExploit #ServerHijacking #Python

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

→ Mindlid: 20% lift in top-1 recall for wellness app

🔗 Available via #GeminiAPI & #VertexAI
Integrates with #LangChain, #LlamaIndex, #Haystack, #Weaviate, #Qdrant, #ChromaDB & Vector Search
🧪 Colab notebooks for Gemini API & Vertex AI ready to use

🌐
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2-generally-available/

Собираем AI-агента нового поколения: Python, RAG и внешние инструменты через MCP (Model Context Protocol)

Ещё пару лет назад типичное LLM-приложение выглядело как последовательная цепочка вызовов: взяли промпт, добавили контекст из векторной базы, отправили в модель, получили ответ. LangChain популяризировал эту парадигму — chains, retrievers, memory — и это работало для простых сценариев вроде «ответь на вопрос по документации». Но бизнес-задачи редко укладываются в линейный пайплайн. Пользователь хочет не просто получить ответ, а чтобы система совершила действие : создала тикет в Jira, отправила письмо, запросила данные из CRM, проверила погоду и только потом сформулировала ответ. Именно здесь на сцену выходят AI-агенты — системы, которые не просто генерируют текст, а автономно принимают решение, какой инструмент вызвать , в каком порядке, и интерпретируют результат. Проблема в том, что до недавнего времени подключение каждого нового инструмента требовало написания «клея» — кастомных функций, обёрнутых в @tool декоратор LangChain, с ручным управлением аутентификацией, обработкой ошибок и сериализацией данных. Для продакшена это быстро превращалось в зоопарк нестандартных интеграций, который сложно поддерживать и масштабировать. Model Context Protocol (MCP) от Anthropic решает эту проблему, предлагая единый стандарт для подключения инструментов и источников данных к LLM-приложениям. Вместо того чтобы для каждого API писать свой адаптер, мы просто запускаем MCP-сервер, который предоставляет инструменты по стандартизированному протоколу. Агент подключается к этому серверу через MCP-клиент и получает доступ ко всем инструментам без лишнего кода. В этой статье мы соберём полноценного агента, который: 1. Умеет работать с внешним миром через MCP (узнавать погоду и создавать GitHub Issues); 2. Имеет доступ к внутренней базе знаний через RAG; 3. Принимает решения по ReAct-подходу с использованием LangGraph. Разбираем код и архитектуру

https://habr.com/ru/articles/1025428/

#python #ai #machine_learning #langchain #langgraph #mcp #rag #chromadb #fastmcp #llm

Собираем AI-агента нового поколения: Python, RAG и внешние инструменты через MCP (Model Context Protocol)

Ещё пару лет назад типичное LLM-приложение выглядело как последовательная цепочка вызовов: взяли промпт, добавили контекст из векторной базы, отправили в модель, получили ответ. LangChain популяризировал эту парадигму — chains, retrievers, memory — и это работало для простых сценариев вроде «ответь на вопрос по документации». Но бизнес-задачи редко укладываются в линейный пайплайн. Пользователь хочет не просто получить ответ, а чтобы система совершила действие : создала тикет в Jira, отправила письмо, запросила данные из CRM, проверила погоду и только потом сформулировала ответ. Именно здесь на сцену выходят AI-агенты — системы, которые не просто генерируют текст, а автономно принимают решение, какой инструмент вызвать , в каком порядке, и интерпретируют результат. Проблема в том, что до недавнего времени подключение каждого нового инструмента требовало написания «клея» — кастомных функций, обёрнутых в @tool декоратор LangChain, с ручным управлением аутентификацией, обработкой ошибок и сериализацией данных. Для продакшена это быстро превращалось в зоопарк нестандартных интеграций, который сложно поддерживать и масштабировать. Model Context Protocol (MCP) от Anthropic решает эту проблему, предлагая единый стандарт для подключения инструментов и источников данных к LLM-приложениям. Вместо того чтобы для каждого API писать свой адаптер, мы просто запускаем MCP-сервер, который предоставляет инструменты по стандартизированному протоколу. Агент подключается к этому серверу через MCP-клиент и получает доступ ко всем инструментам без лишнего кода. В этой статье мы соберём полноценного агента, который: 1. Умеет работать с внешним миром через MCP (узнавать погоду и создавать GitHub Issues); 2. Имеет доступ к внутренней базе знаний через RAG; 3. Принимает решения по ReAct-подходу с использованием LangGraph. Разбираем код и архитектуру

https://habr.com/ru/articles/1025428/

#python #ai #machine_learning #langchain #langgraph #mcp #rag #chromadb #fastmcp #llm

Собираем AI-агента нового поколения: Python, RAG и внешние инструменты через MCP (Model Context Protocol)

Ещё пару лет назад типичное LLM-приложение выглядело как последовательная цепочка вызовов: взяли промпт, добавили контекст из векторной базы, отправили в модель, получили ответ. LangChain популяризировал эту парадигму — chains, retrievers, memory — и это работало для простых сценариев вроде «ответь на вопрос по документации». Но бизнес-задачи редко укладываются в линейный пайплайн. Пользователь хочет не просто получить ответ, а чтобы система совершила действие : создала тикет в Jira, отправила письмо, запросила данные из CRM, проверила погоду и только потом сформулировала ответ. Именно здесь на сцену выходят AI-агенты — системы, которые не просто генерируют текст, а автономно принимают решение, какой инструмент вызвать , в каком порядке, и интерпретируют результат. Проблема в том, что до недавнего времени подключение каждого нового инструмента требовало написания «клея» — кастомных функций, обёрнутых в @tool декоратор LangChain, с ручным управлением аутентификацией, обработкой ошибок и сериализацией данных. Для продакшена это быстро превращалось в зоопарк нестандартных интеграций, который сложно поддерживать и масштабировать. Model Context Protocol (MCP) от Anthropic решает эту проблему, предлагая единый стандарт для подключения инструментов и источников данных к LLM-приложениям. Вместо того чтобы для каждого API писать свой адаптер, мы просто запускаем MCP-сервер, который предоставляет инструменты по стандартизированному протоколу. Агент подключается к этому серверу через MCP-клиент и получает доступ ко всем инструментам без лишнего кода. В этой статье мы соберём полноценного агента, который: 1. Умеет работать с внешним миром через MCP (узнавать погоду и создавать GitHub Issues); 2. Имеет доступ к внутренней базе знаний через RAG; 3. Принимает решения по ReAct-подходу с использованием LangGraph. Разбираем код и архитектуру

https://habr.com/ru/articles/1025428/

#python #ai #machine_learning #langchain #langgraph #mcp #rag #chromadb #fastmcp #llm

Собираем AI-агента нового поколения: Python, RAG и внешние инструменты через MCP (Model Context Protocol)

Ещё пару лет назад типичное LLM-приложение выглядело как последовательная цепочка вызовов: взяли промпт, добавили контекст из векторной базы, отправили в модель, получили ответ. LangChain популяризировал эту парадигму — chains, retrievers, memory — и это работало для простых сценариев вроде «ответь на вопрос по документации». Но бизнес-задачи редко укладываются в линейный пайплайн. Пользователь хочет не просто получить ответ, а чтобы система совершила действие : создала тикет в Jira, отправила письмо, запросила данные из CRM, проверила погоду и только потом сформулировала ответ. Именно здесь на сцену выходят AI-агенты — системы, которые не просто генерируют текст, а автономно принимают решение, какой инструмент вызвать , в каком порядке, и интерпретируют результат. Проблема в том, что до недавнего времени подключение каждого нового инструмента требовало написания «клея» — кастомных функций, обёрнутых в @tool декоратор LangChain, с ручным управлением аутентификацией, обработкой ошибок и сериализацией данных. Для продакшена это быстро превращалось в зоопарк нестандартных интеграций, который сложно поддерживать и масштабировать. Model Context Protocol (MCP) от Anthropic решает эту проблему, предлагая единый стандарт для подключения инструментов и источников данных к LLM-приложениям. Вместо того чтобы для каждого API писать свой адаптер, мы просто запускаем MCP-сервер, который предоставляет инструменты по стандартизированному протоколу. Агент подключается к этому серверу через MCP-клиент и получает доступ ко всем инструментам без лишнего кода. В этой статье мы соберём полноценного агента, который: 1. Умеет работать с внешним миром через MCP (узнавать погоду и создавать GitHub Issues); 2. Имеет доступ к внутренней базе знаний через RAG; 3. Принимает решения по ReAct-подходу с использованием LangGraph. Разбираем код и архитектуру

https://habr.com/ru/articles/1025428/

#python #ai #machine_learning #langchain #langgraph #mcp #rag #chromadb #fastmcp #llm

RAG system. Day 5: Deploy.
End-to-end pipeline:

query → similarity_search → context → LLM → answer
ChromaDB retrieves relevant chunks.
Claude generates answers grounded in real data.
95 years of Oscars history → now queryable.
From raw data → embeddings → retrieval → generation → answers.
Full code + GitHub repo now live.
#RAG #AI #LLM #Python #ChromaDB #LangChain

RAG system. Day 4: Retrieval + Generation.
Pipeline: → retrieve relevant chunks from ChromaDB
→ pass context to Claude
→ generate grounded answer
This is the core of RAG:
LLMs don’t “know” — they retrieve + reason.
Day 5: deploy + full repo on GitHub.
#RAG #AI #LLM #Python #ChromaDB #LangChain

RAG system. Day 3: Indexing.

95 years of Oscars data. Now stored as vectors.
ChromaDB finds relevant chunks. Claude reads them. Answers grounded in facts.
Day 4 tomorrow: the full retrieval + generation chain.
#RAG #LangChain #Python #AI #ChromaDB #LLM

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

LangChain обещает: переключите модель одной строкой, подключите RAG за две. У меня в production мультиагентная система с RAG, CRM и тремя мессенджерами — и я построил её без LangChain. Под катом — почему абстракции ломаются, сколько стоит фоллбек на YandexGPT и при чём тут медведь с удочкой.

https://habr.com/ru/articles/1020810/

#LangChain #Python #мультиагентная_система #RAG #LLM #YandexGPT #OpenAI #FastAPI #production #ChromaDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Databases for #AI: Should you use a vector #database? 🤔

This article compares #opensource projects competing to handle modern #AI workloads, including #machinelearning and #LLMs. Discover which databases best meet today’s AI challenges: https://lpi.org/636x

(Disclaimer: This post contains an AI-generated image.)

#AndyOram #AI #vectordatabase #machinelearning #LLMs #SQL #opensource #hybridsearch #generativeAI #MariaDB #MongoDB #Milvus #Qdrant #Weaviate #Vespa #ChromaDB #LanceDB

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Building My First RAG System (Which Sadly Failed the Tax Preparer Exam)
A while back, I posted about how I gave the IRS’ volunteer tax preparer exam to ChatGPT. It scored in the 70s, but an 80% is the minimum required score to pass and be certified. A short while later, I took a Coursera short course on Retrieval Augmented Generation (RAG). I then decided to
https://www.mcgurrin.info/robots/8318/
#Uncategorized #AI #chatbots #chromadB #gradio #llamaparse #LLMs #ollama #python #RAG #Taxes

Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты

Я с GitHub Copilot (Claude) собрал полностью локальную RAG-систему с GUI, которая индексирует мои учебники и генерирует по ним отчёты, презентации, конспекты и эссе. Всё работает офлайн. В статье — архитектура, выбор компонентов, процесс совместной разработки с ИИ-ассистентом, грабли и рабочий код.

https://habr.com/ru/articles/1006662/

#python #ai #nlp #LLM #qwen #copilot #claude #chromadb

Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты

Я с GitHub Copilot (Claude) собрал полностью локальную RAG-систему с GUI, которая индексирует мои учебники и генерирует по ним отчёты, презентации, конспекты и эссе. Всё работает офлайн. В статье — архитектура, выбор компонентов, процесс совместной разработки с ИИ-ассистентом, грабли и рабочий код.

https://habr.com/ru/articles/1006662/

#python #ai #nlp #LLM #qwen #copilot #claude #chromadb

Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты

Я с GitHub Copilot (Claude) собрал полностью локальную RAG-систему с GUI, которая индексирует мои учебники и генерирует по ним отчёты, презентации, конспекты и эссе. Всё работает офлайн. В статье — архитектура, выбор компонентов, процесс совместной разработки с ИИ-ассистентом, грабли и рабочий код.

https://habr.com/ru/articles/1006662/

#python #ai #nlp #LLM #qwen #copilot #claude #chromadb

Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты

Я с GitHub Copilot (Claude) собрал полностью локальную RAG-систему с GUI, которая индексирует мои учебники и генерирует по ним отчёты, презентации, конспекты и эссе. Всё работает офлайн. В статье — архитектура, выбор компонентов, процесс совместной разработки с ИИ-ассистентом, грабли и рабочий код.

https://habr.com/ru/articles/1006662/

#python #ai #nlp #LLM #qwen #copilot #claude #chromadb

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

https://habr.com/ru/articles/994618/

#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

https://habr.com/ru/articles/994618/

#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

https://habr.com/ru/articles/994618/

#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

https://habr.com/ru/articles/994618/

#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated

Ah, yet another "modern, beautiful" app that promises to revolutionize your #ChromaDB experience 🙄. Because who doesn't want to manage their vector embeddings while sipping overpriced macchiatos at the local cafe? ☕✨ But hey, at least it has 13 embedding providers, because apparently 12 just wouldn't cut it! 🤷‍♂️
https://www.chroma-explorer.com/ #modernapps #vector_embeddings #techhumor #appreviews #cafevibes #HackerNews #ngated