#память_llm — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #память_llm, aggregated by home.social.
-
Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.
https://habr.com/ru/articles/994618/
#LLM #AIагенты #память_LLM #RAG #Redis #ChromaDB #векторный_поиск #sentencetransformers #llama #локальные_модели
-
RLM-Toolkit: Полная замена LangChain? FAQ часть 2
LangChain — стандарт. Но что если у вас 1M+ токенов? Честное сравнение RLM-Toolkit: 287 интеграций, 10M+ контекст, H-MEM память. Когда какой использовать?
https://habr.com/ru/articles/987250/
#LLM #LangChain #RLM #RAG #агенты #Python #память_LLM #контекст #InfiniRetri #HMEM