#local_llm — Public Fediverse posts

Облачные ИИ не справляются, MiniLM-L6 ломается на философии: строим локальный RAG для сложных семантических текстов

Этот проект долго вынашивался и, в конце концов, начался как очередная попытка разобраться в философских текстах, написанных Джейн Робертс во второй половине двадцатого века. Естественно, с появлением мощных облачных ИИ не оставлялись попытки найти в них “качественных собеседников” по предложенной теме. Но, как показала практика, они справились с этой задачей далеко не блестяще! То галлюцинировали факты из общих знаний, то упираясь в границы своих датасетов. Ну что, остаётся последнее: пилить RAG на строго структурированной базе. А т.к. готовых корпусов в открытом доступе не нашлось, пришлось брать сырые сканы, вычищать артефакты распознавания и переводить их в XML, пригодный для эмбеддинга. На сегодняшний день проделана часть работы. Создан репозиторий в статусе исследовательского лога, куда выкладываются сырые скрипты обработки, предсобранный индекс ChromaDB и пайплайн на базе Qwen2.5 + LM Studio. Зачем я это пишу? Мне нужен технический аудит от тех, кто глубже работает с векторными базами и архитектурой чат-ботов. В процессе сборки возникли несколько вопросов, по которым у меня пока нет однозначного ответа: Архитектура индекса: как грамотнее организовать хранение в Chroma? Сохранение контекста диалога: как правильно реализовать память о предыдущих вопросах пользователя без раздувания токен-бюджета? Ранжирование выдачи: может ли reranker (например, cross-encoder) улучшить точность на философских текстах? И с какого объёма стоит начинать эту оптимизацию?

https://habr.com/ru/articles/1064936/

#rag #local_llm #nlp #python #vector_search

Облачные ИИ не справляются, MiniLM-L6 ломается на философии: строим локальный RAG для сложных семантических текстов

Этот проект долго вынашивался и, в конце концов, начался как очередная попытка разобраться в философских текстах, написанных Джейн Робертс во второй половине двадцатого века. Естественно, с появлением мощных облачных ИИ не оставлялись попытки найти в них “качественных собеседников” по предложенной теме. Но, как показала практика, они справились с этой задачей далеко не блестяще! То галлюцинировали факты из общих знаний, то упираясь в границы своих датасетов. Ну что, остаётся последнее: пилить RAG на строго структурированной базе. А т.к. готовых корпусов в открытом доступе не нашлось, пришлось брать сырые сканы, вычищать артефакты распознавания и переводить их в XML, пригодный для эмбеддинга. На сегодняшний день проделана часть работы. Создан репозиторий в статусе исследовательского лога, куда выкладываются сырые скрипты обработки, предсобранный индекс ChromaDB и пайплайн на базе Qwen2.5 + LM Studio. Зачем я это пишу? Мне нужен технический аудит от тех, кто глубже работает с векторными базами и архитектурой чат-ботов. В процессе сборки возникли несколько вопросов, по которым у меня пока нет однозначного ответа: Архитектура индекса: как грамотнее организовать хранение в Chroma? Сохранение контекста диалога: как правильно реализовать память о предыдущих вопросах пользователя без раздувания токен-бюджета? Ранжирование выдачи: может ли reranker (например, cross-encoder) улучшить точность на философских текстах? И с какого объёма стоит начинать эту оптимизацию?

https://habr.com/ru/articles/1064936/

#rag #local_llm #nlp #python #vector_search

Облачные ИИ не справляются, MiniLM-L6 ломается на философии: строим локальный RAG для сложных семантических текстов

Этот проект долго вынашивался и, в конце концов, начался как очередная попытка разобраться в философских текстах, написанных Джейн Робертс во второй половине двадцатого века. Естественно, с появлением мощных облачных ИИ не оставлялись попытки найти в них “качественных собеседников” по предложенной теме. Но, как показала практика, они справились с этой задачей далеко не блестяще! То галлюцинировали факты из общих знаний, то упираясь в границы своих датасетов. Ну что, остаётся последнее: пилить RAG на строго структурированной базе. А т.к. готовых корпусов в открытом доступе не нашлось, пришлось брать сырые сканы, вычищать артефакты распознавания и переводить их в XML, пригодный для эмбеддинга. На сегодняшний день проделана часть работы. Создан репозиторий в статусе исследовательского лога, куда выкладываются сырые скрипты обработки, предсобранный индекс ChromaDB и пайплайн на базе Qwen2.5 + LM Studio. Зачем я это пишу? Мне нужен технический аудит от тех, кто глубже работает с векторными базами и архитектурой чат-ботов. В процессе сборки возникли несколько вопросов, по которым у меня пока нет однозначного ответа: Архитектура индекса: как грамотнее организовать хранение в Chroma? Сохранение контекста диалога: как правильно реализовать память о предыдущих вопросах пользователя без раздувания токен-бюджета? Ранжирование выдачи: может ли reranker (например, cross-encoder) улучшить точность на философских текстах? И с какого объёма стоит начинать эту оптимизацию?

https://habr.com/ru/articles/1064936/

#rag #local_llm #nlp #python #vector_search

6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях. Мой личный выбор - Qwen3.6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B - для чётко описанных проблем . Далее обо всём этом подробнее.

https://habr.com/ru/articles/1037082/

#mlx #llmагент #local_llm #local_ai #agent #local_agent

6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях. Мой личный выбор - Qwen3.6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B - для чётко описанных проблем . Далее обо всём этом подробнее.

https://habr.com/ru/articles/1037082/

#mlx #llmагент #local_llm #local_ai #agent #local_agent

6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях. Мой личный выбор - Qwen3.6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B - для чётко описанных проблем . Далее обо всём этом подробнее.

https://habr.com/ru/articles/1037082/

#mlx #llmагент #local_llm #local_ai #agent #local_agent

Локальный агент для диагностики инфраструктуры

В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме (да, но)".

https://habr.com/ru/articles/1033614/

#mlx #llmагент #local_llm #local_ai #agent

Локальный агент для диагностики инфраструктуры

В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме (да, но)".

https://habr.com/ru/articles/1033614/

#mlx #llmагент #local_llm #local_ai #agent

Локальный агент для диагностики инфраструктуры

В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме (да, но)".

https://habr.com/ru/articles/1033614/

#mlx #llmагент #local_llm #local_ai #agent

Как запускать LLM локально с LM Studio: Полное руководство 2026

Как запускать LLM локально с LM Studio: Полное руководство 2026 Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватность

https://habr.com/ru/articles/1005054/

#local_ai #local_llm #llm #lmstudio #ai #artificial_intelligence

Как запускать LLM локально с LM Studio: Полное руководство 2026

Как запускать LLM локально с LM Studio: Полное руководство 2026 Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватность

https://habr.com/ru/articles/1005054/

#local_ai #local_llm #llm #lmstudio #ai #artificial_intelligence

Как запускать LLM локально с LM Studio: Полное руководство 2026

Как запускать LLM локально с LM Studio: Полное руководство 2026 Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватность

https://habr.com/ru/articles/1005054/

#local_ai #local_llm #llm #lmstudio #ai #artificial_intelligence

LM Studio 0.4.0
https://lmstudio.ai/blog/0.4.0
#ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

LM Studio 0.4.0
https://lmstudio.ai/blog/0.4.0
#ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

LM Studio 0.4.0
https://lmstudio.ai/blog/0.4.0
#ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

LM Studio 0.4.0
https://lmstudio.ai/blog/0.4.0
#ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

Mô hình LLM y tế địa phương tốt nhất tháng 1 năm 2026? Các mô hình LLM mã nguồn mở nào thích hợp cho mục đích y tế? #LLM #Y_tế #Mô_hình_llm #Tháng_1_2026 #Medical_LLM #Local_LLM #Open_source_LLM

https://www.reddit.com/r/LocalLLaMA/comments/1q5pexc/best_local_medical_llm_models_in_jan_2026/

Как научить нейросеть работать руками: создание полноценного ИИ-агента с MCP и LangGraph за час

Надоели чат-боты, которые только болтают? Создаём настоящего ИИ-помощника: читает файлы, ищет в сети, запоминает всё. LangGraph + MCP — пошаговый гайд для Python-разработчиков. Меньше теории, больше работающего кода. - Два готовых агента: классификатор вакансий + файловый помощник - Поддержка Ollama, OpenAI, DeepSeek — выбирайте любую модель - Асинхронная архитектура с обработкой ошибок - Полная интеграция в Python-проекты без no-code конструкторов - Код готов к продакшену: логирование, retry-механизмы, конфигурация От настройки окружения до рабочего агента за час.

https://habr.com/ru/companies/amvera/articles/929568/

#python #langchain #langgraph #mcp #mcpserver #ollama #local_llm #ииассистент #ииагенты #ии

Как научить нейросеть работать руками: создание полноценного ИИ-агента с MCP и LangGraph за час

Надоели чат-боты, которые только болтают? Создаём настоящего ИИ-помощника: читает файлы, ищет в сети, запоминает всё. LangGraph + MCP — пошаговый гайд для Python-разработчиков. Меньше теории, больше работающего кода. - Два готовых агента: классификатор вакансий + файловый помощник - Поддержка Ollama, OpenAI, DeepSeek — выбирайте любую модель - Асинхронная архитектура с обработкой ошибок - Полная интеграция в Python-проекты без no-code конструкторов - Код готов к продакшену: логирование, retry-механизмы, конфигурация От настройки окружения до рабочего агента за час.

https://habr.com/ru/companies/amvera/articles/929568/

#python #langchain #langgraph #mcp #mcpserver #ollama #local_llm #ииассистент #ииагенты #ии

Как научить нейросеть работать руками: создание полноценного ИИ-агента с MCP и LangGraph за час

Надоели чат-боты, которые только болтают? Создаём настоящего ИИ-помощника: читает файлы, ищет в сети, запоминает всё. LangGraph + MCP — пошаговый гайд для Python-разработчиков. Меньше теории, больше работающего кода. - Два готовых агента: классификатор вакансий + файловый помощник - Поддержка Ollama, OpenAI, DeepSeek — выбирайте любую модель - Асинхронная архитектура с обработкой ошибок - Полная интеграция в Python-проекты без no-code конструкторов - Код готов к продакшену: логирование, retry-механизмы, конфигурация От настройки окружения до рабочего агента за час.

https://habr.com/ru/companies/amvera/articles/929568/

#python #langchain #langgraph #mcp #mcpserver #ollama #local_llm #ииассистент #ииагенты #ии

Сказ о том, как я в холодильнике порядок наводил. Разумеется с нейронками.

https://dzen.ru/a/aBOooPV5_mqx03wu

#нейронки #local_llm #llm #еда #продукты #просрочка #бабло #диктофон

How to vibe code for free: Running Qwen3 on your Mac, using MLX
https://localforge.dev/blog/running-qwen3-macbook-mlx
#ycombinator #Qwen3 #MLX #macOS #Apple_Silicon #Local_LLM #Localforge #Free_Code_Generation #Ollama #Local_AI #LLM_Agent

How to vibe code for free: Running Qwen3 on your Mac, using MLX
https://localforge.dev/blog/running-qwen3-macbook-mlx
#ycombinator #Qwen3 #MLX #macOS #Apple_Silicon #Local_LLM #Localforge #Free_Code_Generation #Ollama #Local_AI #LLM_Agent

How to vibe code for free: Running Qwen3 on your Mac, using MLX
https://localforge.dev/blog/running-qwen3-macbook-mlx
#ycombinator #Qwen3 #MLX #macOS #Apple_Silicon #Local_LLM #Localforge #Free_Code_Generation #Ollama #Local_AI #LLM_Agent

How to vibe code for free: Running Qwen3 on your Mac, using MLX
https://localforge.dev/blog/running-qwen3-macbook-mlx
#ycombinator #Qwen3 #MLX #macOS #Apple_Silicon #Local_LLM #Localforge #Free_Code_Generation #Ollama #Local_AI #LLM_Agent

Как запустить локальную LLM (AI) в Android Studio

Привет! Если вы мобильный разработчик и следите за AI-трендами, наверняка задумывались о том, как интегрировать языковые модели (LLM) в свои приложения прямо из Android Studio. В этой статье я расскажу, как это можно сделать быстро и просто, не полагаясь на внешние API и облачные решения.

https://habr.com/ru/articles/904648/

#kotlin #android_studio #continuedev #lmstudio #local_llm

Как запустить локальную LLM (AI) в Android Studio

Привет! Если вы мобильный разработчик и следите за AI-трендами, наверняка задумывались о том, как интегрировать языковые модели (LLM) в свои приложения прямо из Android Studio. В этой статье я расскажу, как это можно сделать быстро и просто, не полагаясь на внешние API и облачные решения.

https://habr.com/ru/articles/904648/

#kotlin #android_studio #continuedev #lmstudio #local_llm

Как запустить локальную LLM (AI) в Android Studio

Привет! Если вы мобильный разработчик и следите за AI-трендами, наверняка задумывались о том, как интегрировать языковые модели (LLM) в свои приложения прямо из Android Studio. В этой статье я расскажу, как это можно сделать быстро и просто, не полагаясь на внешние API и облачные решения.

https://habr.com/ru/articles/904648/

#kotlin #android_studio #continuedev #lmstudio #local_llm

Quelqu'un a t il réussi à faire tourner l'application #local_llm de #nextcloud sur un serveur #ubuntu / #debian ? Je cherche une doc d'installation.
------
Has anyone managed to run the #local_llm application from #nextcloud on a #ubuntu / #debian server? I'm looking for an installation doc.

Quelqu'un a t il réussi à faire tourner l'application #local_llm de #nextcloud sur un serveur #ubuntu / #debian ? Je cherche une doc d'installation.
------
Has anyone managed to run the #local_llm application from #nextcloud on a #ubuntu / #debian server? I'm looking for an installation doc.

Quelqu'un a t il réussi à faire tourner l'application #local_llm de #nextcloud sur un serveur #ubuntu / #debian ? Je cherche une doc d'installation.
------
Has anyone managed to run the #local_llm application from #nextcloud on a #ubuntu / #debian server? I'm looking for an installation doc.