home.social

Search

1000 results for “airflow”

  1. Интеграция с ClickHouse: 1С vs Apache Airflow. Плюсы и минусы

    На связи Никита Скирдин, программист 1С компании «Белый код». Для BI-аналитики необходимо собирать данные из различных систем в централизованное хранилище. Как правило, перед использованием данных для построения графиков, таблиц и т. д. их необходимо преобразовать. В этой статье расскажу, как решали задачу загрузки данных в централизованное хранилище ClickHouse и реализовали модель ELT (extract load transform), используя сначала 1С, а затем Apache Airflow.

    habr.com/ru/articles/864088/

    # #apache_airflow #clickhouse #интеграция #сравнение #плюсы_и_минусы

  2. Кастомные email-оповещения в Apache Airflow

    Пролог Каждый разработчик сталкивался, или непременно столкнется, с ситуацией, когда в бизнес-требованиях видишь “этакое желание” . Этакое желание (каламбурное определение) – достичь чего-то невозможного или близкого к невозможному с помощью программирования. Дорогой читатель, наверное, задаст риторический вопрос: - Как это?! Разве чего-то нельзя достичь с помощью программирования?! Вопрос, конечно, к месту, и ответ в большинстве случаев очевиден: - Нет ничего невозможного… главное грамотно спроектировать техническое решение. Но сейчас немного не об этом, а о целесообразности расхода ресурсов: трудозатрат, количество привлеченных специалистов и т.п. Давайте почитаем-с

    habr.com/ru/companies/gazpromb

    #python #airflow #email_оповещения

  3. Кастомные email-оповещения в Apache Airflow

    Пролог Каждый разработчик сталкивался, или непременно столкнется, с ситуацией, когда в бизнес-требованиях видишь “этакое желание” . Этакое желание (каламбурное определение) – достичь чего-то невозможного или близкого к невозможному с помощью программирования. Дорогой читатель, наверное, задаст риторический вопрос: - Как это?! Разве чего-то нельзя достичь с помощью программирования?! Вопрос, конечно, к месту, и ответ в большинстве случаев очевиден: - Нет ничего невозможного… главное грамотно спроектировать техническое решение. Но сейчас немного не об этом, а о целесообразности расхода ресурсов: трудозатрат, количество привлеченных специалистов и т.п. Давайте почитаем-с

    habr.com/ru/companies/gazpromb

    #python #airflow #email_оповещения

  4. Кастомные email-оповещения в Apache Airflow

    Пролог Каждый разработчик сталкивался, или непременно столкнется, с ситуацией, когда в бизнес-требованиях видишь “этакое желание” . Этакое желание (каламбурное определение) – достичь чего-то невозможного или близкого к невозможному с помощью программирования. Дорогой читатель, наверное, задаст риторический вопрос: - Как это?! Разве чего-то нельзя достичь с помощью программирования?! Вопрос, конечно, к месту, и ответ в большинстве случаев очевиден: - Нет ничего невозможного… главное грамотно спроектировать техническое решение. Но сейчас немного не об этом, а о целесообразности расхода ресурсов: трудозатрат, количество привлеченных специалистов и т.п. Давайте почитаем-с

    habr.com/ru/companies/gazpromb

    #python #airflow #email_оповещения

  5. Рулим запуском Spark-приложений в Airflow с помощью самописного оператора

    Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями. Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с проблемой: в нашем случае не существует готовых решений для запуска Spark-приложений, позволяющих легко править конфигурацию и следить за количеством потребляемых ресурсов. Меня зовут Андрей Булгаков, я лид команды разработчиков Big Data в Lamoda Tech. Вместе с разработчиком Иваном Васенковым в этой статье мы поделимся историей создания Airflow-оператора для запуска Spark-приложений.

    habr.com/ru/companies/lamoda/a

    #apache_airflow #spark #hocon #docker #data_engineering #big_data #python

  6. Do you know anything about PC / computer airflow?

    I'm interested in getting something to put under my desk to put a couple cpus.

    1) A small Dell inspiron tower
    2) Mac mini
    3) Synology Nas
    4) Cyberpower backup backup

    Can I put all this stuff in an "enclosed" wooden or metal cabinet like something on the left?

    Or do I have to do something open like the stand on the right?

    I want to mitigate dust that these things accumulate.

    #pc #furniature #office #airflow #pccooling

  7. Do you know anything about PC / computer airflow?

    I'm interested in getting something to put under my desk to put a couple cpus.

    1) A small Dell inspiron tower
    2) Mac mini
    3) Synology Nas
    4) Cyberpower backup backup

    Can I put all this stuff in an "enclosed" wooden or metal cabinet like something on the left?

    Or do I have to do something open like the stand on the right?

    I want to mitigate dust that these things accumulate.

    #pc #furniature #office #airflow #pccooling

  8. Do you know anything about PC / computer airflow?

    I'm interested in getting something to put under my desk to put a couple cpus.

    1) A small Dell inspiron tower
    2) Mac mini
    3) Synology Nas
    4) Cyberpower backup backup

    Can I put all this stuff in an "enclosed" wooden or metal cabinet like something on the left?

    Or do I have to do something open like the stand on the right?

    I want to mitigate dust that these things accumulate.

    #pc #furniature #office #airflow #pccooling

  9. Do you know anything about PC / computer airflow?

    I'm interested in getting something to put under my desk to put a couple cpus.

    1) A small Dell inspiron tower
    2) Mac mini
    3) Synology Nas
    4) Cyberpower backup backup

    Can I put all this stuff in an "enclosed" wooden or metal cabinet like something on the left?

    Or do I have to do something open like the stand on the right?

    I want to mitigate dust that these things accumulate.

    #pc #furniature #office #airflow #pccooling

  10. Do you know anything about PC / computer airflow?

    I'm interested in getting something to put under my desk to put a couple cpus.

    1) A small Dell inspiron tower
    2) Mac mini
    3) Synology Nas
    4) Cyberpower backup backup

    Can I put all this stuff in an "enclosed" wooden or metal cabinet like something on the left?

    Or do I have to do something open like the stand on the right?

    I want to mitigate dust that these things accumulate.

    #pc #furniature #office #airflow #pccooling

  11. Xiaomi has launched the Mijia Handheld Fan with 100-level airflow adjustment, a 5000mAh battery, fast charging, and portable outdoor-friendly design.

    #mymobprice #Xiaomi #MijiaFan #MijiaHandheldFan #PortableFan #TechNews #Gadgets

    mymobprice.com/xiaomi-mijia-ha

  12. The IC Quartz Luminous G Rhino is built for smooth airflow, clean terp flavor, and strong heat retention. ✨

    ✔ 14mm 90°
    ✔ Full Weld Design
    ✔ Premium Quartz Kit

    Elevate your setup. 💨
    geticglass.com/collections/all

    #QuartzBanger #Dabbing #ICGlass #710Community

  13. 🖥️ Donne du style et de la puissance à ton setup !

    Découvre notre sélection de boîtiers PC gaming 🔥
    RGB, airflow optimisé, design futuriste… tout pour sublimer ta config 💡

    ⚡ Que tu sois gamer ou créateur, trouve le boîtier parfait pour ton build !

    👉 Explore maintenant la catégorie et upgrade ton setup !

    inmedia.ma/product-category/ac

    #pcgaming, #boitierpc, #setupgaming, #rgb, #gamingsetup, #pcbuilder, #airflow, #gaminggear

  14. An Automatic Positive Airway Pressure (APAP) device adjusts airflow in real time to keep your airways open all night long 🌙💨. It learns your breathing patterns and adapts as you move, change sleep stages, or experience airway blockage — giving you a smoother, more comfortable sleep 🛌💙
    #CPAPVictoria #APAPMachine #SleepApnea #BetterSleep #HealthyLiving #APAP #SleepTech #Wellness #GoodNightSleep 🌟
    tiptopmashable.com.au/the-ulti

  15. Selecting the right cooling fan is important for maintaining airflow, reducing heat buildup, and improving reliability in electrical panels and enclosures.

    Our latest Help Centre article explains the difference between AC, DC, and brushless DC cooling fans, along with practical selection guidance for industrial and electrical applications.

    Read the article:zurl.co/Xk1m5

    #IndustrialAutomation #ElectricalEngineering #CoolingFans #PanelCooling #EnclosureCooling #Smidmart #Smidnya

  16. Toot: IC Quartz Majestic 14mm 90° Male Banger: 3-slit airflow, long tower heat retention, carb cap + dual terp pillars (5 colors!). Dab royalty.

    Share your quartz upgrades! [geticglass.com/products/ic-qua]

    #Dabbing #QuartzBanger #ICQuartz #Terps

  17. Единый вход для ML-стека на примере Keycloak

    Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).

    habr.com/ru/companies/kts/arti

    #ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak