#local_ai — Public Fediverse posts on home.social

Habr @[email protected] · 2026-06-17 · 09:12 UTC

AI‑агент для склада в Джеймикс. Часть 2: write‑tools, безопасность, метаданные

write‑tools, безопасность, метаданные Это вторая часть статьи по Sping AI в Джеймикс. Короткая аннотация первой — на случай, если прошло время или вы её не читали: мы собрали read‑only агент внутри Джеймикс‑приложения. Пользователь задаёт вопрос на естественном языке; ChatClient из Spring AI крутит agent loop — дёргает @Tool ‑методы, пока не наберёт достаточно данных для ответа. Каждый tool данные читает через DataManager с явным fetch plan ‑ом, поэтому почти полностью остаётся внутри рамок системы безопасности Джеймикс и возвращает только нужные модели поля. UI — обычный Джеймикс‑вью, без REST ‑прослойки. Также, в первой части мы убедились, что выбор модели — не деталь: модель без надёжного native tool calling ломает всю схему. Если первую часть не читали — начните с неё, код ниже строится как продолжение. В этой части мы дадим агенту право менять данные. И вот здесь, в отличие от первой половины, начинают всплывать вопросы, которые ни Spring AI , ни большинство туториалов по агентам обычно не поднимают: под каким пользователем выполняется tool , что делать с транзакциями, как аудировать действия, инициированные моделью, и как заставить агента работать с вашей доменной моделью без ручного перечисления сущностей в промпте. Это не косметические изменения, а ровно те решения, что отделяют демо от приложения, которое можно показывать заказчику. Полный исходник всего, что мы здесь обсуждаем, лежит здесь: https://github.com/jmix‑edu/ai‑warehouse — можно клонировать и сразу запустить. Что добавляем

https://habr.com/ru/companies/haulmont/articles/1048112/

#jmix #haulmont #spring_ai #llmмодели #local_ai #java #sear #promp #demo

#demo #promp #sear #java #local_ai #llmмодели

Habr @[email protected] · 2026-06-12 · 13:12 UTC

AI-агент для склада в Джеймикс. Часть 1

Это первая из двух статей про построение AI-агента внутри Джеймикс-приложения. Джеймикс (или Jmix , ex. CUBA ) - высокоуровневый фреймворк для разработки корпоративных приложений на Java, автор не будет слишком сильно в него погружаться, в наше время любой запрос к AI даст Вам всю нужную информацию. В этой части мы соберем минимальный, но рабочий пример: пользователь задает вопрос на естественном языке, агент решает, какие операции вызвать на бэкенде, дергает их и возвращает осмысленный ответ. В качестве предметной области возьмем склад - сценарий, узнаваемый для большинства бизнес-приложений и достаточно широкий, чтобы во второй части обсудить уже не только чтение, но и запись данных, безопасность, fetch plans и метаданные. Зачем это вообще нужно? Данные корпоративного приложения живут за списками и формами с фильтрами. Это отлично работает, когда пользователь знает, по каким полям фильтровать - и плохо для размытых, многокритериальных вопросов вроде "где у нас заканчивается кофе тёмной обжарки по северным складам?". Когда иначе пришлось бы открыть несколько экранов и руками свести результаты, AI-агент даёт возможность просто спросить - и собирает ответ из бэкенд-операций, которые у вас уже есть. Почему строить это внутри Джеймикс-приложения, а не отдельным сервисом? В случае Джеймикса агент едет на том же доступе к данным и той же безопасности, что уже есть во фреймворке, его tools идут через DataManager , поэтому он видит ровно то, что разрешено текущему пользователю - никакого параллельного пути к данным, никакого обхода прав. Именно это свойство делает агента приемлемым в enterprise-контексте, и это поведение - сквозная нить обеих частей.

https://habr.com/ru/companies/haulmont/articles/1046868/

#jmix #spring_ai #haulmont #llmмодели #local_ai #java #search #prompt #tools #demo

#demo #tools #prompt #search #java #local_ai

Habr @[email protected] · 2026-05-19 · 19:22 UTC

6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях. Мой личный выбор - Qwen3.6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B - для чётко описанных проблем . Далее обо всём этом подробнее.

https://habr.com/ru/articles/1037082/

#mlx #llmагент #local_llm #local_ai #agent #local_agent

#local_agent #agent #local_ai #local_llm #llmагент #mlx

Habr @[email protected] · 2026-05-11 · 02:12 UTC

Локальный агент для диагностики инфраструктуры

В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме (да, но)".

https://habr.com/ru/articles/1033614/

#mlx #llmагент #local_llm #local_ai #agent

#agent #local_ai #local_llm #llmагент #mlx

Habr @[email protected] · 2026-05-08 · 22:02 UTC

Чему меня научили два месяца с легковесным локальным AI-агентом

Два месяца назад openLight был маленьким pet project’ом: Raspberry Pi, Telegram-бот, SQLite и несколько команд для управления сервисами. Мне просто хотелось перестать печатать ssh [email protected] с телефона каждый раз, когда падал очередной контейнер или начинал странно вести себя Tailscale. За это время проект неожиданно превратился во что-то большее. Не в “автономного AI-агента”, а скорее в легковесный слой управления для personal infrastructure — маленьких always-on машин вроде Raspberry Pi, Mac mini, VPS или старых домашних серверов. В статье я подробно разбираю: * почему почти весь проект пришлось переписать хотя бы один раз * как deterministic-first роутинг оказался полезнее “умных” AI-агентов * зачем я отказался от идеи сложного tool calling в пользу простых и проверяемых skill’ов * почему Telegram неожиданно оказался идеальным интерфейсом для homelab-инфраструктуры; * и почему, как мне кажется, будущее локальных AI-систем будет не “магическим”, а маленьким, наблюдаемым и ремонтопригодным. Это не история про очередной AI framework. Скорее инженерная ретроспектива о том, как реальное использование быстро ломает красивые архитектурные идеи, и почему иногда один Go-бинарь, SQLite и несколько хорошо продуманных allowlist’ов оказываются полезнее огромных cloud-native систем.

https://habr.com/ru/articles/1033220/

#llm #ai_агент #homelab #local_ai #open_source

#open_source #local_ai #homelab #ai_агент #llm

Habr @[email protected] · 2026-04-08 · 08:32 UTC

Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine

Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потребительской видеокарте AMD за $500 — без ROCm, без CUDA, без MLX, одним бинарником на Zig. Это пост про ZINC — inference engine, который мы строим с нуля под железо, которое люди реально покупают. Не как proof of concept, а как рабочий инструмент с OpenAI-совместимым API, потоковой генерацией и встроенным чатом. Погрузиться

https://habr.com/ru/articles/1020702/

#LLM #inference #AMD #Vulkan #Zig #Metal #GPU #local_AI #Qwen #MoE

#moe #qwen #local_ai #gpu #metal #zig

Habr @[email protected] · 2026-03-29 · 16:22 UTC

MitM-прокси для LLM

Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

https://habr.com/ru/companies/globalsign/articles/1016612/

#MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

#httpsпрокси #mitmproxy #openai_codex #claude_code #gemini_cli #local_ai

Habr @[email protected] · 2026-03-19 · 11:22 UTC

Почему большинство AI-агентов плохо работают на Raspberry Pi (и как я попытался это исправить)

Последнее время я экспериментировал с AI-агентами на Raspberry Pi 5 . И довольно быстро столкнулся с проблемой: большинство существующих агентных фреймворков оказываются слишком тяжёлыми для небольшого железа.

https://habr.com/ru/articles/1012258/

#LLM #AI_агент #Raspberry_Pi #golang #homelab #local_AI #open_source

#open_source #local_ai #homelab #golang #raspberry_pi #ai_агент

Habr @[email protected] · 2026-03-17 · 10:52 UTC

NullClaw под лупой: зачем AI-агенту Zig, маленький бинарь и быстрый запуск

Когда смотришь на современные AI-агенты, быстро замечаешь одну общую черту: почти все они живут на тяжелом стеке. Где-то это Node.js, где-то Python, где-то длинная цепочка зависимостей, сервисов и фоновых процессов. На этом фоне nullClaw выглядит почти инородно: один бинарный файл, Zig, быстрый запуск, мало занимаемой памяти и минимум лишнего. Для этой статьи я смотрел nullClaw в состоянии v2026.3.13-1-g78366e9. Для сравнения я отдельно прогнал те же сценарии на свежем npm-релизе OpenClaw 2026.3.12. Сразу оговорюсь: это не сравнение полноты платформ. nullClaw я смотрю как маленький single-binary runtime на Zig, а OpenClaw — как более широкий self-hosted gateway/agent stack с Node-зависимостью, daemon/gateway-режимами и Control UI. Поэтому ниже я сравниваю не «кто лучше вообще», а цену локального запуска в одинаковых коротких сценариях: служебные команды, один agent-run, маленькая coding-задача и пачка параллельных небольших coding-задач.

https://habr.com/ru/companies/wildberries/articles/1010946/

#NullClaw #OpenClaw #Zig #local_ai

#local_ai #zig #openclaw #nullclaw

Habr @[email protected] · 2026-02-28 · 20:52 UTC

Как запускать LLM локально с LM Studio: Полное руководство 2026

Как запускать LLM локально с LM Studio: Полное руководство 2026 Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватность

https://habr.com/ru/articles/1005054/

#local_ai #local_llm #llm #lmstudio #ai #artificial_intelligence

#artificial_intelligence #ai #lmstudio #llm #local_llm #local_ai

Habr @[email protected] · 2026-02-18 · 09:02 UTC

От чат-бота к AI агенту: собираем локальную систему на LibreChat, Langflow и MCP

Всем привет! Меня зовут Николай Луняка. В прошлой статье мы строили локальную систему для транскрибации аудио, а сегодня пойдём дальше и соберём локальную агентную AI-систему — без облаков и с контролем над данными. В этой статье я покажу, как собрать связку из трёх ключевых компонентов: 1. LibreChat — UI для работы с LLM 2. Langflow — low-code платформа и визуальный редактор 3. MCP — стандарт для подключения инструментов Статья построена по принципу «по нарастающей», где каждый новый уровень — это рабочий инструмент. Можно остановиться на любом этапе, а можно пройти все и тогда получите связку UI + инструменты + централизованная логика (и дальше ее можно развивать под свои сценарии).

https://habr.com/ru/companies/alfa/articles/1000342/

#langflow #librechat #mcp #llm #agent #ollama #local_ai #fastapi #агенты_ии #gpt

#gpt #агенты_ии #fastapi #local_ai #ollama #agent

Habr @[email protected] · 2025-06-18 · 08:22 UTC

Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости

Токены летят быстрее, а результат — медленнее: парадокс квантизации DeepSeek-R1. Замеры 4 версий модели доказали: уменьшение размера ускоряет генерацию отдельных токенов, но что происходит с общим временем ответа?

https://habr.com/ru/articles/919452/

#deepseek #deepseek_r1 #deepseek_r10528 #ai #llm #llmмодели #gguf #кодогенерация #local_ai #llamacpp

#deepseek #deepseek_r1 #deepseek_r10528 #ai #llm #llmмодели

Habr @[email protected] · 2025-06-09 · 16:12 UTC

Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта

Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки? Первоначально – да. Но итог моего эксперимента: эту 'улитку' можно заставить работать вдвое быстрее.

https://habr.com/ru/articles/916966/

#deepseek #ai #llm #local_ai #epyc #deepseek_r1 #deepseek_v3 #llamacpp #huggingface #gguf