Live and recent posts from across the Fediverse tagged #оркестрация, aggregated by home.social.
Оркестратор Apache Airflow: что это и как используется в BI и DWH
В статье разбираем, как устроен Apache Airflow 3, для каких задач он используется, какую роль играет в архитектуре DWH и BI, и когда его стоит выбирать для оркестрации процессов обработки данных. Сравниваем с Prefect и Dagster.
https://habr.com/ru/articles/1094354/
#bi #data_warehouse #dwh #оркестрация #airflow #apache_airflow #оркестратор #airflow_3
Надсмотрщик для ИИ-агентов: 63 пул-реквеста к самому себе за сутки
Днём я занимаюсь корпоративными системами, а по вечерам делаю свои проекты с помощью Claude Code. В какой-то момент я заметил, что пишу код всё меньше, а работаю диспетчером всё больше: напоминаю агенту продолжить, перепроверяю его «готово», а утром обнаруживаю, что в час ночи закончился лимит подписки и всё стояло. Я написал для этого локальный надсмотрщик, AIWorks, а потом отдал ему на сутки его собственный репозиторий. Ниже — как он устроен, что получилось и, главное, что сломалось по дороге.
От ручного SEO к офису AI-сотрудников, как выстроить оркестрацию
Качественный продукт обретает реальную ценность только тогда, когда им начинают пользоваться люди. SaaS, браузерному инструменту или мобильному приложению нужны ясная страница, путь к целевому действию и способ привлекать людей. Для продукта, который рассчитывает на органический поиск, начинается отдельная работа, разобраться в запросах, изучить выдачу, подготовить содержание, внедрить его и посмотреть, что произошло после публикации. ИИ помогает на каждом из этих участков, но между ними остаётся разработчик, который переносит ответы, уточняет задания, сверяет предложенные пути с проектом, просит переписать текст и передаёт результат агенту, который меняет код. В этом году я попробовал максимально автоматизировать эту работу. Получились три последовательных подхода, собственный YAML-оркестратор, внешний workflow на Dify с Tavily и офис AI-сотрудников с распределённой ответственностью. SEO оставалось задачей, для которой последовательно менялось устройство оркестрации.
https://habr.com/ru/articles/1091084/
#сезон_код_будущего #aiагенты #оркестрация #seo #автоматизация #dify #tavily #codex #prompt_engineering #жизненный_цикл_разработки
SaaS умер?.. Я за сутки навайбкодил аналог Discord с помощью Fable 5.1
Пятница, 25 сентября, 22:35. Я отправляю первый промпт: стену текста без единой запятой. В ней вперемешку всё сразу: хочу рабочий продукт вроде Discord. Чаты там сделаны так, что меня бесит, поэтому чат будет как в Telegram. Звук и стабильность как в Zoom, с передовыми кодеками. Ещё голос, роли и права, стрим экрана, PostgreSQL и отдельной строкой «эхо не должно быть совершенно». Вечером следующего дня версия 0.3.1 уже стояла в проде: подписанные сборки под macOS, Windows и Linux, веб-версия, лендинг. Я отправил 90 сообщений, 29 из них были скриншотами с подписью «сделай как тут». Строчки кода я не написал. Ни одного теста не запустил. Всё остальное сделали модели. Продукт назвали Calab, код лежит на GitHub . Дальше будут цифры, стоимость в долларах и список мест, где нейросети ошибались. (Без него история выглядит слишком хорошо, я бы и сам ей не поверил.)
https://habr.com/ru/companies/gptunnel/articles/1088758/
#Calab #вайбкодинг #Claude_Fable_51 #Claude_Opus_55 #ИИагенты #оркестрация
[Перевод] Строим продвинутый каркас для ИИ-агента
В основе базового agentic harness — простой цикл: LLM получает задачу, выбирает и вызывает инструмент, результат возвращается в контекст, после чего модель решает, какое действие выполнить следующим. Цикл продолжается, пока модель не решит, что задача выполнена. Этот цикл корректен, но наивен . Один пилот на хорошем истребителе вполне может выиграть воздушный бой, но никто не ведёт так целую воздушную операцию. В реальных операциях есть планировщики миссий, которые ещё до взлёта определяют, какие вылеты предстоит выполнить; эскадрильи, параллельно выполняющие независимые задачи; топливные лимиты и сигнал bingo fuel, после которого нужно возвращаться на базу; бортовые самописцы, позволяющие восстановить ход каждого вылета; наконец, разборы после выполнения, на которых определяют, была ли миссия действительно успешной. Ничто из этого не заменяет пилота. Всё это создаёт вокруг него инфраструктуру, благодаря которой система в целом остаётся быстрой, безопасной, удобной для отладки и измеримой. С агентами происходит то же самое. В этой статье мы возьмём базовый агентный цикл и последовательно добавим к нему типизированные инструменты, DAG и параллельное выполнение, многоуровневую память, верификацию, разделение ролей Planner / Worker / Critic, многомерные бюджеты и трассировку — а затем соединим всё это тонким оркестратором. Весь эксперимент строится вокруг одного вопроса: Как превратить простой агентный цикл в надёжную систему, способную планировать, действовать, восстанавливаться после ошибок и доказывать, что она действительно сделала всё правильно? Эта публикация — перевод и адаптация статьи Бруно Гонсалвеса Building an Advanced Agentic Harness , подготовленные командой Островка. В оригинале материал продолжает серию Data For Science об устройстве agentic harness.
https://habr.com/ru/companies/ostrovok/articles/1084568/
#harness_engineering #llm #ииагенты #dag #оркестрация #tool_calling #верификация #pydantic #python #asyncio
Как AI‑ассистент вырос в production‑систему: путь от NLU к оркестрации и надёжной обработке сообщений
Практический разбор архитектуры AI‑ассистента, который постепенно вырос в production‑систему: управление состоянием диалогов, разделение каналов и бизнес‑логики, оркестрация NLU, LLM и ручной поддержки, а также Inbox/Outbox для надёжной обработки сообщений. Статья показывает, как эти компоненты связались в единый lifecycle пользовательского сообщения и почему архитектура в итоге стала важнее самой AI‑части. Читать
https://habr.com/ru/articles/1082504/
#backend #архитектура_по #system_design #python #fastapi #ai_ассистент #llm #nlu #оркестрация
Что такое n8n и как с ним работать
Как использовать ИИ в бизнесе? Представьте гипотетический запрос клиента: «Где мой заказ и когда он будет доставлен?». Чтобы ответить на него, одной ИИ-модели мало. Сначала нужно найти клиента в базе, получить информацию о заказе, при необходимости обратиться к другому сервису, и только затем сгенерировать и отправить ответ. Приходится задействовать множество систем, которые как-то должны работать в унисон, и всей системе желательно быть гибкой и легко масштабируемой. Обычный чат-бот тут не справится. Дело для серьезного дяди n8n . Если вы искали инструмент с открытым исходным кодом, с помощью которого производится визуальная оркестрация рабочих процессов, и всё это происходит на основе графа — заканчивайте поиски. Сегодня мы поймем как работать с одним из самых популярных ИИ-оркестраторов, в чем он хорош и как может помочь вам уже сейчас.
https://habr.com/ru/companies/bothub/articles/1079114/
#n8n #ии_для_бизнеса #ииагенты #ииассистент #искусственный_интеллект #оркестрация #что_такое_n8n #n8n_гайд #настройка_n8n
Как мы скрестили Go, Rust и MCP, чтобы построить масштабируемый оркестратор ИИ-агентов часть 2
Как мы скрестили Go, Rust и MCP, чтобы построить масштабируемый оркестратор ИИ-агентов часть 2 Глубокий разбор архитектуры Zettaverse AgentHub Кастомная валидация структуры flow_json и построение DAG
https://habr.com/ru/articles/1078278/
#model_context_protocol #mcp #ииагенты #ai_agents #go #cgo #оркестрация #open_source
Sheeternetes: как мы запустили оркестратор контейнеров внутри Google Таблиц (а заодно написали ОС и создали фонд)
Хабр, привет! Есть такой тип проектов, которые начинаются со слов «а что если» и заканчиваются тем, что ты в три часа ночи объясняешь kubelet -у, что таблица — это его новый control plane. Так вышло и тут, всё родилось из субботней шутки в одном телеграм-канале по кубернетесу . Правила игры простые: раз весь мир можно создать в эксельке, то пускай всё состояние кластера живёт внутри электронной таблицы. Не «метаданные в таблице», не «экспорт в CSV» — а буквально: Deployments, Nodes, Pods, Events — это вкладки Google Sheets (или листы Excel). Планировщик читает и пишет ячейки. kubectl -подобная утилита ходит в таблицу. И — вот это ключевое — на другом конце крутятся настоящие Docker-контейнеры . Таблица не симулирует кластер. Таблица и есть кластер. Проект называется Sheeternetes . Это, конечно, шутка. Но шутка, которая компилируется, проходит тесты и переживает падение ноды. Ниже — как это устроено, как это поднять у себя за пять минут, как оно работает на bare metal без интернета (в Excel и LibreOffice), как связать несколько таблиц-кластеров в федерацию с живой миграцией, почему контейнеры можно хранить прямо в ячейках , — и что это внезапно выросло в целый фонд с 30 проектами, стандартом контейнеров и системой сертификации.
https://habr.com/ru/articles/1077612/
#sncf #sheeternetes #sheetos #apache2 #cncf #kubernetes #оркестрация #google_sheets #excel #libreoffice_calc
Как мы скрестили Go, Rust и MCP, чтобы построить масштабируемый оркестратор ИИ-агентов
Model Context Protocol (MCP) от Anthropic перевернул работу с ИИ-агентами, но когда их становится больше трех, начинается ад с правами доступа, сетевым I/O и визуальным контролем. Мы задолбались собирать костыли на Python и написали масштабируемый опенсорс-оркестратор. Внутри — честный инженерный разбор: почему для ядра выбрали Go, как упаковали асинхронный движок JSON-RPC 2.0 на Rust в cdylib для вызова через cgo, и как мы героически побеждали утечки памяти на стыке этих двух миров.
https://habr.com/ru/articles/1076830/
#mcp #model_context_protocol #ai_agents #ииагенты #rust #go #оркестрация #cgo #open_source
Большая история крохотного BPMN
Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместится на экране смартфона? Муки выбора, драма, предательство и обстоятельства непреодолимой силы — вот что! Я расскажу, как на самом деле разрабатываются BPMN, исполняемые в движках вроде Camunda и Flowable, и, может быть, вы перестанете считать их просто «очередной графической нотацией»
https://habr.com/ru/articles/1076074/
#bpmn #camunda #camunda_8 #zeebe #kafka #бизнеспроцессы #оркестрация #eventdriven_architecture #микросервисы #масштабирование
Виртуальные сотрудники вместо ИИ-помощников: как агенты учатся работать внутри компании
Разработка постепенно меняет привычное разделение работы между человеком и инструментами. ИИ берет на себя не отдельные операции, а последовательность действий, для которой раньше требовалось участие специалиста. Но вместе с ростом автономности меняются и требования к самой системе. Агент должен понимать контекст проекта, знать внутренние правила и иметь доступ к инструментам, с которыми работает команда, а не просто искать информацию и писать код. Эту тему подробно разобрали на восьмом митапе MWS для DevOps и SRE. Эксперты из MTC Web Services и Orion Soft показали разные стороны перехода к агентной разработке и поделились кейсами, как ИИ потихоньку превращается в виртуального сотрудника — агента, действующего без постоянного сопровождения человека, и что для этого приходится менять в инженерных процессах.
https://habr.com/ru/companies/ru_mts/articles/1075826/
#виртуальный_сотрудник #ИИагент #контекст #оркестрация #корпоративные_знания #документация #автоматизация #МТС #проверка_решений #DevRails
Распределённые вычисления: гарантия завершения на исполнителях, которые вам ничего не должны
Если вы ведете pet‑проекты, требующие большого количества вычислений, то наверняка сталкивались с проблемой их - вычислений - оркестрации. Содержать личный кластер позволить себе могут далеко не все, а каждая арендная платформа имеет свой специфический инструментарий интеграции и свои ограничения, а хуже всего, что ни одна из них не имеет гарантий полного выполнения. Вдобавок к этому, еще и не хотелось бы завязываться на одну конкретную площадку, как минимум потому, что некоторые провайдеры дают бесплатные возобновляемые квоты, и тратить их, вместо своих кровно заработанных, гораздо приятнее. В данной статье будет рассматриваться пример с арендными GPU , однако все основные тезисы полностью переносимы и на другие сценарии использования. У вас, скорее всего, уже открыт десяток разнообразных вкладок: какая‑нибудь платформа с бесплатными недельными лимитами, вроде Kaggle ; что‑нибудь с бесплатными возобновляемыми кредитами, на подобии Lightning AI ; возможно, пара площадок со спотовыми машинами по цене чашки кофе, например Vast , но с оговоркой — никто не обещает, что машину не заберут, или у ее владельца не отвалится сеть. Каждый вариант в отдельности выглядит как «ну, на пару экспериментов может быть и хватит» с различной долей допущения. Все вместе они выглядят как кластер. Нюанс в том, что кластером они становятся не сами: между « у меня есть пяток площадок » и « моя задача точно доедет до конца и не ляжет в непредсказуемый момент » находится довольно много инженерной работы, и почти вся она — не про площадку, а про грамотную оркестрацию. Эту работу я выполнил для своего проекта и хочу поделиться тем, из чего она состояла. Многие решения оказались неочевидными, а добрая половина появилась лишь после того, как самый явный вариант сломался. Итак, приступаем... Где взять гарантию, которая не существует?
https://habr.com/ru/articles/1073954/
#распределённые_системы #отказоустойчивость #MLOps #gpu #архитектура_по #воспроизводимость_моделей #оркестрация #обучение_моделей #облачные_вычисления #проектирование
Инструменты контроля качества: как заставить агента писать код, которому можно доверять
Агенты быстро генерируют код, но качество этого кода часто остаётся под вопросом. Агент может «мухлевать»: писать тесты, которые формально проходят, но ничего не проверяют, или пропускать краевые случаи, потому что о них не попросили. «Почти правильный код» компилируется и даже запускается, но полагаться на него в продакшене опасно. Чтобы не гадать, насколько можно доверять сгенерированному коду, нужны инструменты контроля качества. Есть четыре практики, которые помогут проверить качество уже сейчас.
Почему агент делает выводы раньше времени и как этим управлять
Агенты часто стараются угодить. LLM стремится дать полезный ответ как можно быстрее. Если данных для анализа еще недостаточно, она начинает додумывать. Это одна из самых дорогих ошибок при работе с агентами. Она систематически возникает почти на каждом проекте и может привести к неверным решениям. На практике это выглядит так: например, вы просите агента проанализировать 300 визитов пользователей на сайте. Агент открывает первый плеер, видит десять записей и тут же выдает рекомендации по улучшению конверсии. Выводы сделаны на 3% данных, но звучат убедительно.
https://habr.com/ru/articles/1062652/
#llmагент #llmмодели #llmархитектура #агенты #оркестрация #ai
Как заставить нескольких агентов работать над одним проектом и не мешать друг другу
Когда проект становится большим и сложным, а количество задач растёт, одного агента уже недостаточно. Он переполняет контекст, забывает, что делал в начале, и начинает выдавать «почти правильный код». Чтобы такого не случалось, стоит задуматься о мультиагентной системе. Она состоит из нескольких агентов, каждый из которых отвечает за свой этап работы, а вместе они выстраиваются в конвейер. Архитектура мультиагентной системы следует тем же принципам, что и архитектура хорошей команды разработчиков. Агенты делятся по уровням ответственности: • Нижний уровень — агенты, которые пишут конкретный код: правят константы, следят за чистотой функций, генерируют строки. • Средний уровень — агенты, управляющие архитектурой модуля: где какие классы, как связаны зависимости. • Верхний уровень — агенты, которые видят картину целиком: как компоненты системы связаны между собой, где база данных, где сервер приложений, где веб-сервер. Это немного напоминает команду с джуниорами, сеньорами и техлидом, но роли исполняют не люди, а агенты.
Langflow. Самый удобный визуальный редактор для оркестрации ИИ агентов
Сегодня мы ищем всё более удобные решения в сфере ИИ-агентов. Речи о том, чтобы руками писать хотя бы значительную часть агентных систем — не идёт. Однако, при работе с популярными фреймворками Langchain и Langraph мы имеем дело с графами , и было бы удобно видеть их структуру и работать по большей части не с кодом, а непосредственно с графом. В данной статье мы поговорим о LangFlow. Это визуальный редактор для оркестрации ИИ агентов, с поддержкой локального развёртывания, вайбкодинг-инструментами, и интеграцией MCP и внешних api.
https://habr.com/ru/companies/ruvds/articles/1058310/
#оркестрация #оркестрация_агентов #ии_оркестры #ai_agent #ии_агенты #агенты_оркестрация #что_такое_оркестрация #лучшие_оркестраторы #визуальный_редактор #ruvds_статьи
Как я собрал систему из девяти скиллов для Claude Code, которая не разваливается на длинных задачах
У любого агента, которому даёшь большую задачу, есть общая болезнь: чем длиннее контекст, тем хуже он держит собственные правила. В начале сессии аккуратен, к середине забывает половину ограничений, к концу выдаёт то, что в первом сообщении сам обещал не делать. Собрал систему скиллов для Claude Code, которая эту стену обходит не за счёт «более умного» агента, а за счёт архитектуры. Девять скиллов, набор всегда активных правил, сабагент-ревьюер. Внутри — разбор механики: — Три слоя по частоте: always-on правила / скиллы по требованию / глубокая детализация в references, которая грузится только когда реально нужна. В контексте одновременно — правила плюс один-два скилла плюс максимум один reference, а не весь справочник разом. — Оркестратор как диспетчер, а не исполнитель: он знает порядок фаз и кому делегировать, но не содержит предметного знания. — Сабагент-ревьюер без прав на запись, который обязан помечать unverified (no browser tool) вместо того, чтобы выставить правдоподобную оценку по осям, которые он физически не проверял. — Capability-check: агент инвентаризирует доступные инструменты до начала работы и докладывает пробелы вместе с фолбэками, а не проваливается молча. Репозиторий открыт, ссылка в статье.
https://habr.com/ru/articles/1059202/
#Claude_Code #agent_skills #AIагенты #контекст #оркестрация #сабагенты #MCP #progressive_disclosure #плагины #промптинжиниринг
Совет требует ИИ, а данные не готовы. Как ESM даёт фундамент, который не провалит пилот
В прошлой статье мы обсудили, почему ИИ-инициативы в компаниях, даже с большими деньгами и ресурсами, просто проваливаются. Коротко говоря, если у ИИ нет качественных данных, проект скорее всего обречён — по данным Gartner , 60% ИИ-проектов не доходят до продакшена из-за неготовности данных и процессов. В этот раз поищем решение: как собрать все заявки в одном месте и научить модель делать то, что вам нужно — уничтожать рутину.
https://habr.com/ru/companies/simpleone/articles/1054208/
#ESM #ITSM #искусственный_интеллект #автоматизация_процессов #цифровая_трансформация #управление_ИТ #SimpleOne #оркестрация #AIагенты #корпоративные_сервисы
Оркестрация рабочих процессов: полное руководство
Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...
#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL
Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo
Завод ИИ-агентов в одном терминале через оркестрацию
С детства я смотрел фильмы, где люди разговаривают с компьютерами, и каждый раз думал — ну когда уже. Когда можно будет сказать машине, что делать, а она сделает. Учился на технолога бродильных производств. Защитил кандидатскую. Управляю пивоварней и параллельно — исполнительный директор в фирме по производству пищевого оборудования. Код не писал никогда. Но в детстве, когда появился нормальный интернет, я развлекался тем, что ставил на комп разные дистрибутивы Linux — от OpenBSD до классических. Не особо понимал, как их настраивать и зачем мне это. Потом, когда стал работать — понял, в чём сила Linux, но для настройки просто искал советы в интернете и копировал оттуда команды, или просил брата помочь. А потом появились LLM. И я понял — вот оно. Можно не учить синтаксис, не зубрить фреймворки. Можно объяснить что нужно и получить работающий код. Вдохновился. Попробовал. Столкнулся с галлюцинациями, бесконечными переделками, кода сгенерировано уже куча — а он не работает. Перегорел. Попробовал снова. Контекст такой: мне нужно было сделать АСУ ТП для пивоварни. Система управления технологическим процессом — датчики, клапаны, насосы, частотники. Я решил, что ИИ уже дорос. Начал с одного Claude‑агента: я ему говорю что делать, он делает. Потом дошёл до шести параллельных агентов. Они начали конфликтовать, переделывать работу друг друга, плодить баги. На одну фичу — пять новых проблем. Проект рос, но болезненно. А потом на предприятии по производству оборудования случилась попытка рейдерского захвата. Пришлось бросить всё и месяц заниматься защитой станков. Код и агенты отошли на второй план.
https://habr.com/ru/articles/1042214/
#AInative_разработка #ИИагенты #Оркестрация #Zellij #LiteLLM #Bashскрипты #Claude_Opus #Управление_процессами
Кто твой клиент, если клиента нет? Исповедь Internal PO в банковском автокредитовании
Большинство статей про Product Owner написаны про один архетип: есть пользователь, есть фича, есть дашборд с DAU. Я Internal PO в банке — управляю бэковым оркестратором заявки на автокредит, и моя реальность устроена иначе. Когда меня спрашивают, чем занимаюсь, я говорю: управляю продуктом. Дальше идёт стандартный вопрос «О, что за приложение?», и я делаю паузу. Мой продукт — сервис, через который проходит каждая заявка на автокредит: от первого клика в мобильном приложении до момента, когда документы уходят в архив. Он живёт между фронтовыми каналами (мобильное приложение, веб-версия, фронт-приложение дилерских центров) и почти двумя десятками смежных систем банка. Если он встаёт, процесс автокредитования встаёт целиком. Но его никогда никто не видел: экрана нет, кнопки нет, «нельзя пощупать». Моя должность — Internal PO. На Habr про эту роль почти ничего не написано. Под катом — про то, что считаешь продуктом, когда твои пользователи сидят внутри компании; про три ловушки, в которые попадаешь в первый год; и про инструменты, которые реально помогают сделать ценность внутреннего продукта видимой для бизнеса.
https://habr.com/ru/articles/1040226/
#internal_product #product_owner #внутренние_продукты #банки #бэкенд #автокредитование #оркестрация #интеграции
[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».
https://habr.com/ru/companies/vktech/articles/1040076/
#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов
Как мы в отделе документации создали LLM агента для автоматизированного перевода с английского на другие языки
Разбираем, как в отделе документации построили LLM-агента для автоматизированного перевода Markdown-документации. Архитектура, пайплайн, валидация, работа с Ollama, OpenWebUI и Qwen, плюсы и ограничения подхода.
https://habr.com/ru/companies/hostkey/articles/1037646/
#LLM #автоматизация_перевода #техническая_документация #Python #валидация #Markdown #OpenWebUI #Qwen #оркестрация #hostkey
Как я перестал бояться и полюбил MCP или Зачем я написал 4 MCP‑сервера и протокол для их связи
Привет! Вы знаете как это бывает — начинаешь делать одну штуку, а потом просыпаешься через неделю и понимаешь, что написал четыре MCP‑сервера, подключил к ним шедулер, собрал автоматический конвеер для трёх Telegram‑каналов и изобрёл собственную спецификацию для связывания всего этого добра. Классика. Для тех кто не в теме: MCP (Model Context Protocol) — это протокол, через который AI‑ассистенты типа Claude подключаются к внешним сервисам и работают с ними напрямую. По сути это «руки» для нейросетей. Подключил MCP — и ИИ сам ходит в Telegram, ищет лучшие картинки с промптами на Civitai, управляет рекламой в Яндекс.Директе и делает кучу всего полезного. Без костылей, без скриптов‑прослоек, напрямую. В этой статье расскажу почему готовые MCP‑серверы меня не устроили, какие задачи я сейчас решаю с помощью своих, и зачем мне пришлось изобрести целый протокол чтобы эти серверы начали видеть друг друга.
https://habr.com/ru/articles/1019652/
#MCP #Model_Context_Protocol #TRAIL #Claude #AIагенты #автоматизация #оркестрация #нейросети #playwright #JSONL
Оркестрация runner-ов на Nomad
Некоторое время назад мы столкнулись с типовой проблемой очередей при исполнении пайплайнов. Задачи упирались друг в друга, мешая выполнять операции последовательно. Особенно остро это ощущалось на пайплайнах для сборки статики. Задачи требовали много ресурсов, выполнялись довольно долго, но основная нагрузка приходилась не столько процессор, сколько на дисковую подсистему (IOPS). В результате у нас возникали постоянные заторы при выполнении нескольких таких задач подряд. Таким образом, вырисовывалась такая картина маслом: несколько разработчиков одновременно пушат свои сборки — кто-то новую версию плагина, кто-то страницу сайта — и все эти задачи, каждая минут на десять, устремляются в горстку общих runner-ов. Первый в очереди, конечно, чувствует себя прекрасно. Остальные же с тоской смотрят на статус pending ....
https://habr.com/ru/companies/cinimex/articles/1031360/
#devops #nomad #gitlabrunner #оркестрация #iac #hashicorp #системное_администрирование #docker #микросервисы #python
Kubernetes: архитектура и абстракции — полный гайд
Почему Kubernetes стал стандартом оркестрации контейнеров? Разбираем архитектуру без скучной теории: Control Plane, поды, сервисы, деплойменты — на реальных примерах. Вы узнаете, как избежать типичных ошибок, увидите опыт миграции Tinder и получите лучшие практики, которые применяют ведущие команды. Статья для тех, кто хочет не просто знать команды kubectl, а понимать, как проектировать отказоустойчивые платформы
https://habr.com/ru/companies/otus/articles/1022152/
#devops #kubernetes #архитектура #контейнеры #оркестрация #микросервисы #bestpractices
Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных
Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.
https://habr.com/ru/companies/X5Tech/articles/1026382/
#большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl
Децентрализованная оркестрация на RabbitMQ вместо Apache Camel
В этой статье мы расскажем о библиотеке оркестрации обработки данных, которая использует RabbitMQ как децентрализованный механизм передачи объектов между микросервисами. Ее задача - создание единого автоматизированного рабочего бизнес-процесса. Описание архитектуры Речь пойдет о системе, которая ежедневно обрабатывает большой объем данных, получаемых как единовременно в виде файлов скачиваемых с различных FTP обменников в установленные регламентом промежутки времени, так и данных, получаемых в онлайн режиме в виде асинхронного стриминга информации посредством Kafka\RabbitMQ.
https://habr.com/ru/articles/1017242/
#миграция_с_Camel_на_RabbitMQ #оркестрация #кастомная_библиотека_оркестрации
Неудобные вопросы про бэкап PostgreSQL: где заканчивается СУБД и начинается оркестрация
Как только очередной вендор обещает «убить нативные тулзы PostgreSQL», где-то устало вздыхает DBA. Попытка сделать бэкап PostgreSQL «лучше самого PostgreSQL» — это изначально неверная постановка задачи. Универсальный файловый агент не притворяется глубоко PostgreSQL-aware решением. Его задача в другом: взять нативные механизмы СУБД и превратить их в управляемый и наблюдаемый процесс на уровне всей инфраструктуры. Вокруг такого подхода обычно сразу возникают неприятные, но правильные вопросы. Кто отвечает за консистентность? Где на самом деле живет PITR? Что будет, если потеряется WAL-сегмент? Можно ли восстановить одну таблицу, а не весь инстанс? И зачем вообще нужен внешний слой поверх pg_probackup, если у PostgreSQL уже есть свои зрелые инструменты? Под катом — честный разговор о границах ответственности между PostgreSQL и внешней платформой. Кат
https://habr.com/ru/companies/hstx/articles/1015500/
#postgresql #резервное_копирование #бэкап #pitr #wal #dba #pg_probackup #срк #оркестрация #восстановление_данных
Ваша личная ИИ-корпорация: Paperclip сам нанимает ИИ-агентов, распределяет задачи, соблюдает дедлайны и бюджет
Компания одного человека в 2026 году больше не означает, что вы делаете всё сами. Теперь это значит, что вы руководите целым штатом ИИ-агентов и сосредоточены на стратегии. Вышедший на пике этого тренда фреймворк Paperclip делает эту модель массовой. Он забирает у соло-основателей хаос из десятков разрозненных скриптов и внедряет для нейросетей то, к чему привыкли люди: жесткую организационную структуру, трекер задач, систему бюджетирования и корпоративное управление. В начале 2026 года индустрия столкнулась с неожиданным кризисом: искусственный интеллект стал достаточно хорош, чтобы работать без надзора, но слишком хаотичен, чтобы работать в команде. Пока одиночные агенты вроде Felix (создан разработчиком Нэтом Элиасоном) приносили своим создателям более 100 000 долларов выручки, управление роем из пятнадцати или двадцати подобных ботов превращалось в логистический кошмар. Разработчики теряли сотни долларов из-за зацикленных скриптов и забывали, какую задачу выполняет каждая из открытых вкладок терминала. Ответом на этот «координационный налог» стал запуск Paperclip — системы с открытым исходным кодом, которая переносит принципы корпоративной бюрократии на управление нейросетями.
https://habr.com/ru/articles/1012490/
#Искусственный_интеллект #ИИагенты #Оркестрация #Автономные_компании #Open_source #Управление_проектами #ИТменеджмент #Бюджетирование #Автоматизация_бизнеса #Будущее_здесь