#apache_airflow — Public Fediverse posts

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации

Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.

https://habr.com/ru/articles/1060944/

#airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners

DE. Путь файла по слоям

В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая попала в rejects с конкретной причиной. На этом небольшом примере покажу весь путь данных через RAW, STG, CORE и MARTS. Разберём, где меняются строки и суммы, как пережить повторную доставку файла и какие проверки позволяют доверять итоговому дашборду. Внутри MinIO, Postgres и Airflow.

https://habr.com/ru/articles/1062446/

#Data_Engineering #ETL #DWH #пайплайн_данных #Apache_Airflow #PostgreSQL #MinIO #Data_Quality #CSV #BI

Невозможно быть вне политики с Airflow Cluster Policies

Привет, Хабр! Я Миша Онянов, Python-разработчик и платформенный инженер в крупнейшем проекте MAGNIT TECH – F&R. Из статьи вы узнаете, как с помощью механизма Cluster Policies в Apache Airflow вынести требования к DAG’ам в исполняемый код: - Поговорим о том, когда и зачем нужен отдельный слой Policies. - Посмотрим на примеры требований в больших data-инженерных проектах и способ их реализации с помощью политик. - Покажу нашу архитектуру, примеры кода и способы внедрения. - Сделаем выводы из моих ошибок, допущенных при разработке и внедрении. - В конце посмотрим, в каких ещё системах используется аналогичный механизм. Материал будет полезен всем, кто собирается внедрять или уже работает с Apache Airflow ✌️🥸

https://habr.com/ru/companies/magnit/articles/1043082/

#python #apache_airflow #apache_spark #data_engineering #mlops

Как я сделал Variables в Airflow 3 удобнее

Ровно год назад, 22 апреля, вышел Airflow 3, который сильно изменил архитектуру и UX платформы. Но одно из изменений неожиданно ухудшило повседневную работу — Variables: маленькое поле ввода, неудобный JSON и отсутствие нормального редактирования. В статье разбираю, что именно сломалось в привычном сценарии и как я решил это с помощью собственного плагина.

https://habr.com/ru/articles/1023060/

#Python_plugin #Apache_Airflow #Airflow_Variables #JSON_configuration #DAG_configuration #Data_Engineering #Airflow_plugin #configuration_management

Cloud Composer で Storage Transfer Service の動的設定更新ワークフローを構築する
https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-dynamic-config-update/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Storage_Transfer_Service #Apache_Airflow

Основы ETL на примере работы с Superset, Airflow и ClickHouse

В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения. В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries. Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.

https://habr.com/ru/companies/beget/articles/928712/

#etl #apache_airflow #apache_superset #clickhouse #dag #обработка_данных #biинструменты #анализ_данных #beget

Интеграция с ClickHouse: NiFi vs Airflow

На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform).

https://habr.com/ru/companies/w_code/articles/917514/

#интеграция #сравнение #clickhouse #apache_airflow #nifi

Cloud Composer でカスタムセンサーを実装して Storage Transfer Service のオペレーション完了を待機する
https://dev.classmethod.jp/articles/cloud-composer-custom-sensor-storage-transfer-service/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Storage_Transfer_Service #Apache_Airflow

Долгожданный релиз Airflow 3.0.0

Привет, Хабр! Я Георгий Новожилов, инженер данных в «ДАР» (ГК «КОРУС Консалтинг»). В моём стеке и стеке моих коллег Airflow, можно сказать, незаменим. Он помогает нам планировать, запускать и отслеживать сотни задач обработки данных, которые крутятся в кластере каждый день. 22 апреля 2025 года компания Apache выпустила новую версию своего оркестратора, которая была в разработке последние 4 года. Среди ключевых изменений — новый интерфейс, обновлённая и защищённая архитектура, а также стабильный интерфейс разработки. В этой статье предлагаю рассмотреть, какие ещё нововведения нам привезли в масштабном обновлении Apache Airflow 3.0.0.

https://habr.com/ru/articles/913464/

#airflow #apache_airflow #релиз #pipeline #оркестратор #airflow_3

Планировщики процессов — другие open source решения

Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют интересные возможности для автоматизации, ускорения и упрощения настройки сложных workflow, и часто обладают более современной архитектурой, меньшим порогом входа или ярко выраженной специализацией для типовых задач. Сегодня познакомимся подробнее с инструментами, которые расширят ваш арсенал и помогут создавать более надёжные и экономичные системы.

https://habr.com/ru/companies/mws/articles/909790/

#metaflow #apache_airflow #StepWise #Dagu #Windmill #Flyte #workflow #работа_с_данными

Работа с библиотеками, которые не установлены в Airflow

Данные библиотеки можно использовать при работе со SparkOperator: 1. Создание виртуального окружения с необходимыми библиотеками 2. Создание задачи в даге и установка окружения в SparkSubmit

https://habr.com/ru/articles/889394/

#apache_airflow #bigdata #python #виртуальное_окружение #практики_программирования #dags #bash #etl

Cloud Composer で DAG 解析時間アラートを設定してみた
https://dev.classmethod.jp/articles/cloud-composer-dag-parse-times-alerts/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Cloud_Monitoring #Apache_Airflow

Рынок труда ML-специалистов в 2025 году: востребованные навыки и карьерные треки

В одном из недавних интервью Марк Цукерберг заявил , что к 2025 году искусственный интеллект (ИИ) сможет выполнять большинство задач Middle-разработчиков в Meta (запрещенная в РФ организация). По словам Цукерберга, ИИ уже помогает писать код и постепенно забирает на себя простые инженерные задачи, но хорошие Middle-инженеры все еще будут нужны. Правда при условии, что они будут осваивать новые востребованные технологии. С учетом влияния компании на технологическую повестку во всем мире заявление звучит серьезно: крупные игроки индустрии уже сейчас диктуют направление, в котором будет развиваться рынок труда в связи с масштабированием ИИ — это автоматизация большей части функций и появление новых. В таких условиях многим специалистам придется адаптироваться и прокачивать навыки, чтобы оставаться востребованными на рынке.

https://habr.com/ru/articles/882040/

#машинное_обучение #mlинженер #ai_talent_hub #mlops #разработка_вебсервисов #рынок_труда_it #pytorch #scikitlearn #apache_airflow #postgresql

Cloud Composer で Airflow タスクの SLA を設定してみた
https://dev.classmethod.jp/articles/cloud-composer-airflow-task-sla/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Apache_Airflow

СОЗДАНИЕ ETL-ДВИЖКА ДЛЯ РЕПЛИКАЦИИ ДАННЫХ ИЗ APACHE HIVE В CLICKHOUSE

Представлено создание ETL-движка, который помогает автоматически извлекать, преобразовывать и загружать данные из разных источников. Мы сосредоточились на разработке быстрого инструмента, который использует параллельную обработку и оптимизированные алгоритмы. Результаты тестирования показывают, что движок эффективно справляется с большими объемами данных, что помогает лучше анализировать информацию и принимать обоснованные бизнес-решения.

https://habr.com/ru/articles/874262/

#apache_hive #репликация_данных #python #clickhouse #apache_airflow #spark #jupyterlab #jupyter_notebook

Как мы деплоем Apache Airflow для промышленного использования в Kubernetes

Что делает инженер, если DAG не выполняется? Проверяет Airflow 50 раз, а потом вспоминает, что забыл поставить @dag над функцией. Развертывание Apache Airflow в промышленной среде — это сложная задача, требующая учета множества аспектов: от обеспечения безопасности конфиденциальных данных до эффективного управления ресурсами. Одной из ключевых проблем, с которыми сталкиваются команды, является безопасное управление секретами, оптимизация конфигураций и наблюдаемость. В этой статье мы рассмотрим, как использовать инструменты, такие как Sops и YAML-якоря, для упрощения управления конфиденциальными данными и улучшения читаемости конфигураций. А так же как обеспечить полную наблюдаемость инсталляции Apache Airflow

https://habr.com/ru/articles/871660/

#apache_airflow #observability #kubernetes #production

Cloud Composer で Deferrable Operators を使って BigQuery ジョブの完了を待機してみた #cm_google_cloud_adcal_2024de
https://dev.classmethod.jp/articles/cloud-composer-deferrable-operators-bigquery/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Google_BigQuery #Apache_Airflow

Интеграция с ClickHouse: 1С vs Apache Airflow. Плюсы и минусы

На связи Никита Скирдин, программист 1С компании «Белый код». Для BI-аналитики необходимо собирать данные из различных систем в централизованное хранилище. Как правило, перед использованием данных для построения графиков, таблиц и т. д. их необходимо преобразовать. В этой статье расскажу, как решали задачу загрузки данных в централизованное хранилище ClickHouse и реализовали модель ELT (extract load transform), используя сначала 1С, а затем Apache Airflow.

https://habr.com/ru/articles/864088/

#1с #apache_airflow #clickhouse #интеграция #сравнение #плюсы_и_минусы

Cloud Composer で DAG パーサーのログを Cloud Logging に出力したい
https://dev.classmethod.jp/articles/cloud-composer-dag-cloud-logging/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Cloud_Logging #Apache_Airflow #小ネタ

[アップデート] Amazon MWAAが新しくInvokeRestAPIをサポートし簡単にRest APIが叩けるようになりました
https://dev.classmethod.jp/articles/update-amazon-mwaa-support-invoke-rest-api/

#dev_classmethod #Amazon_MWAA #Apache_Airflow #AWS

BigQuery で Airflow DAG のオーケストレーションができるようになりました（Preview）
https://dev.classmethod.jp/articles/bigquery-orchestrate-dags/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Apache_Airflow #Google_BigQuery

Cloud Composer で Storage Transfer Service の転送ジョブのステータスを監視したい
https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-status-sensor/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Storage_Transfer_Service #BigQuery #Apache_Airflow

[アップデート] Amazon MWAAがApache Airflow 2.10をサポートしました
https://dev.classmethod.jp/articles/update-amazon-mwaa-support-apache-airflow-210/

#dev_classmethod #Amazon_MWAA #Apache_Airflow #AWS

Cloud Composer で Dataplex のデータリネージ統合を試してみた　〜カスタム リネージ イベント編〜
https://dev.classmethod.jp/articles/cloud-composer-dataplex-custom-lineage-event/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #BigQuery #Google_Cloud_Storage #Apache_Airflow

Cloud Composer で Dataplex のデータリネージ統合を試してみた
https://dev.classmethod.jp/articles/cloud-composer-dataplex/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #BigQuery #Google_Cloud_Storage #Storage_Transfer_Service #Apache_Airflow

Amazon MWAAでOperatorがAssumeRoleする際にSTSリージョナルエンドポイントを使用する
https://dev.classmethod.jp/articles/amazon-mwaa-operator-using-sts-regional-endpoint/

#dev_classmethod #Amazon_MWAA #AWS_STS #AWS #Python #Apache_Airflow #Boto3

Агрегация данных для аналитики продаж с помощью DataSphere Jobs и Airflow SDK

В маркетинге и продажах крупных компаний есть несколько аналитических задач, которые требуют регулярной обработки сотен тысяч и миллионов записей из разных источников. Например, это прогнозирование продаж или планирование рекламных кампаний. Как правило, их решение не обходится без построения длинного пайплайна обработки данных. ML‑инженеру или аналитику данных нужен ансамбль из нескольких моделей и сервисов, чтобы собрать качественный датасет, провести эксперименты и выбрать наиболее подходящие алгоритмы. Сбор, очистка и агрегация данных занимают большую часть времени и вычислительных ресурсов, а эти затраты хочется оптимизировать. В статье покажем, как мы ускорили построение пайплайнов обработки данных с помощью связки DataSphere Jobs и Apache Airflow™.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/839494/

#apache_airflow #datasphere #пайплайн #dag

Apache Airflow: преимущества и недостатки

Одним из популярных оркестратором задач является Apache Airflow. Он, как и все инструменты, имеет свои преимущества и недостатки, о которых пойдет речь в данной статье Подробнее

https://habr.com/ru/articles/811807/

#apache_airflow #ci/cd #python

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора

Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями. Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с проблемой: в нашем случае не существует готовых решений для запуска Spark-приложений, позволяющих легко править конфигурацию и следить за количеством потребляемых ресурсов. Меня зовут Андрей Булгаков, я лид команды разработчиков Big Data в Lamoda Tech. Вместе с разработчиком Иваном Васенковым в этой статье мы поделимся историей создания Airflow-оператора для запуска Spark-приложений.

https://habr.com/ru/companies/lamoda/articles/810705/

#apache_airflow #spark #hocon #docker #data_engineering #big_data #python