#локальные_llm — Public Fediverse posts

[Перевод] Как дообучать локальные LLM в 2026 году: практическое руководство

В 2026 году дообучение локальных LLM перестало быть задачей «для тех, у кого есть кластер и бюджет». Снижение требований к VRAM, развитие QLoRA и появление инструментов вроде Unsloth сделали возможным запуск полноценного fine-tuning на обычной потребительской видеокарте. Это меняет практику: теперь модель можно адаптировать под свои задачи без облаков и внешних API, контролируя и данные, и поведение. В статье разбирается весь процесс — от момента, когда вообще стоит задуматься о дообучении, до подготовки датасета, настройки обучения и оценки результата. Без абстракций и с фокусом на реальных ограничениях: память, время, качество данных и то, как не получить на выходе модель, которая «что-то выучила», но работать с ней невозможно. Открыть материал

https://habr.com/ru/companies/otus/articles/1026700/

#LLM #локальные_llm #дообучение #fine_tuning #дообучение_LLM #локальные_модели #QLoRA #RAG #LoRA

Почему ИИ-пилоты не доходят до реального производства и как это исправить архитектурой

8–9 апреля на конференции Data Fusion ВТБ публично признал: их ИИ-проекты массово застревают между пилотом и промышленной эксплуатацией. Это не жалоба — это диагноз от людей, которые потратили на ИИ сотни миллионов. Яндекс и Сбер в ответ продают инструменты. Но никто не объяснил почему это происходит структурно. Почему пилот работает, а в реальном производстве ломается. Почему 0.85⁸ = 27% — и что с этим делать архитектурно.

https://habr.com/ru/articles/1024350/

#низкоэнтропийная_автоматизация #ИИ_в_производстве #MLOps #LoRA #finetuning #humanintheloop #compounding_entropy #локальные_LLM #цифровой_двойник

AI vs аналитик: кто кого заменит

Привет, Хабр! Я Владимир Сыропятов, Senior Analyst в

https://habr.com/ru/companies/garage8/articles/1013596/

#тренды_аналитики #ai #ai_агенты #локальные_llm #автоматизация

Как мы внедрили ИИ для обработки рекламаций на производстве

Как автоматизировать процесс обработки рекламаций с помощью ИИ? Кейс о том, как мы внедрили систему отслеживания рекламаций на производстве с использованием искусственного интеллекта.

https://habr.com/ru/articles/1011494/

#рекламации #автоматизация #Ollama #Qwen #локальные_LLM #Tesseract #Bitrix24 #Python #OCR #сезон_heavy_digital

Пора переезжать на локальные LLM. Или нет?

Нет большой разницы в инструментах, когда речь идет о создании простеньких чат-ботов. Но когда вы работаете над продуктом посерьезнее, например создаете сложного AI-агента или работаете с чувствительными данными, облачные LLM начинают выставлять большие счета. И не только финансовые. Что если переход на локальную инфраструктуру (вроде Ollama) это решение, которое не просто поможет сэкономить, но изменит саму динамику разработки?

https://habr.com/ru/companies/otus/articles/1006670/

#ollama #локальные_LLM #локальный_инференс #облачные_LLM #AIагенты #гибридная_инфраструктура #гибридные_модели

Как мы создали open-source кодового агента, работающего с любыми локальными моделями

Можно ли сделать кодового агента уровня Claude Code, но бесплатного и для локальных моделей? Мы разобрали архитектуру конкурентов, нашли слабые места и написали PocketCoder — CLI-ассистент с Agent Loop, XML-контекстом и памятью. Работает даже с qwen-7b, хотя и с приколами.

https://habr.com/ru/articles/991022/

#AIагент #кодовый_агент #Ollama #локальные_LLM #open_source #Claude_Code #Agent_Loop #CLI #qwen #vLLM

Как мы создали open-source кодового агента, работающего с любыми локальными моделями

Можно ли сделать кодового агента уровня Claude Code, но бесплатного и для локальных моделей? Мы разобрали архитектуру конкурентов, нашли слабые места и написали PocketCoder — CLI-ассистент с Agent Loop, XML-контекстом и памятью. Работает даже с qwen-7b, хотя и с приколами.

https://habr.com/ru/articles/991022/

#AIагент #кодовый_агент #Ollama #локальные_LLM #open_source #Claude_Code #Agent_Loop #CLI #qwen #vLLM

Как мы создали open-source кодового агента, работающего с любыми локальными моделями

Можно ли сделать кодового агента уровня Claude Code, но бесплатного и для локальных моделей? Мы разобрали архитектуру конкурентов, нашли слабые места и написали PocketCoder — CLI-ассистент с Agent Loop, XML-контекстом и памятью. Работает даже с qwen-7b, хотя и с приколами.

https://habr.com/ru/articles/991022/

#AIагент #кодовый_агент #Ollama #локальные_LLM #open_source #Claude_Code #Agent_Loop #CLI #qwen #vLLM

Как мы создали open-source кодового агента, работающего с любыми локальными моделями

Можно ли сделать кодового агента уровня Claude Code, но бесплатного и для локальных моделей? Мы разобрали архитектуру конкурентов, нашли слабые места и написали PocketCoder — CLI-ассистент с Agent Loop, XML-контекстом и памятью. Работает даже с qwen-7b, хотя и с приколами.

https://habr.com/ru/articles/991022/

#AIагент #кодовый_агент #Ollama #локальные_LLM #open_source #Claude_Code #Agent_Loop #CLI #qwen #vLLM

Локальная LLM: гадкий утенок в мире прекрасных лебедей

Всем привет! Я — Иван, инженер по разработке AI-систем CodeInside. Мы разрабатываем и внедряем кастомные AI-решения — от интеллектуальных поисковых систем на основе RAG до специализированных AI-агентов и ассистентов для автоматизации процессов в бизнесе и промышленности. В этой статье я расскажу о результатах тестирования локальных и облачных LLM в RAG-сценариях. Мы сравнили их точность, полноту, достоверность и скорость работы, чтобы понять, насколько локальные модели готовы к реальным задачам и в каких случаях они могут быть не хуже — а иногда и лучше — облачных аналогов.

https://habr.com/ru/articles/937228/

#llm #llama_33_70b #gpt41_mini #gemini_25_flash #deepseek_r1 #Mistral_Small_3224B #Qwen3Coder30BA3B #onpremise #облачные_llm #локальные_llm