Search
1000 results for “airflow”
-
Как автоматизировать загрузку данных в DWH и не сойти с ума
Привет! Меня зовут Андрей, я Data Engineer в компании GRI. Мы занимаемся заказной разработкой, и один из наших ключевых клиентов — Sunlight. Я расскажу, как не тратить время на рутину в процессах и автоматизировать всё, что только можно. Это будет особенно актуально тем, кто в компании solo Data Engineer.
-
Как автоматизировать загрузку данных в DWH и не сойти с ума
Привет! Меня зовут Андрей, я Data Engineer в компании GRI. Мы занимаемся заказной разработкой, и один из наших ключевых клиентов — Sunlight. Я расскажу, как не тратить время на рутину в процессах и автоматизировать всё, что только можно. Это будет особенно актуально тем, кто в компании solo Data Engineer.
-
Чистим зубы, яйцо и виноградину новой пескоструйкой
Границу между дорогой стоматологией и обычной раньше можно было провести по тому, как делается гигиена. В стоматологиях попроще использовали AirFlow и другие пескоструйки для удаления налёта, в дорогих — большая доля или только ручные инструменты. Почему? Потому что пескоструйка могла оставить зубы шероховатыми, и на них потом образовывалось больше налёта. С другой стороны пескоструйка в два-три раза быстрее ручного инструмента, с ней не нужны особо продвинутые мануальные навыки и не требуются четыре разных набора инструментов под рукой у каждого врача. Несколько лет назад один из производителей сказал, что решил проблему шероховатости и при этом сохранил классические преимущества прибора. Поэтому мы, ярые противники пескоструек, внезапно оказались по другую сторону холивара. Несколько месяцев мы тестировали новое устройство, в итоге забрав его в клиническую практику. А сейчас покажем, насколько оно точное, и почистим то, чего стоматологи обычно не чистят.
https://habr.com/ru/companies/belayaraduga/articles/959090/
#стоматология #клиника #airflow #зубы #пескоструйка #гигиена
-
Completed the hallway linen closet door. The top and bottom are open for airflow, as it’s used for bedding. Most interesting parts to me are the repurposed chair top used for the curve, embedded magnets to keep it closed, and I cut the grooves in the frame to house the cherry plywood panels by hand with as small as a lip as possible (about 1/8th of an inch). #handtools #woodworking
-
Как избавиться от проприетарных ETL: кейс миграции на dbt
Несколько лет назад наш корпоративный слой данных жил на проприетарных технологиях. Данных было много, а основная СУБД — MPP-система Sybase IQ — долго не обновлялась. Мы регулярно сталкивались с тем, что у кластера «падали» ноды, каталог базы повреждался, порой даже терялись данные, а вендор не спешил выпускать исправления или даже признавать проблему. ETL-процессы работали через IBM DataStage, который также перестал развиваться. Все решения были закрыты, и мы не могли влиять на их улучшение. Vendor lock-in означает, что вы зависите от поставщика: если вендор не поддерживает нужные возможности, развитие замедляется, а долгоживущие ошибки остаются нерешенными. Такое положение становилось критичным. Мы поняли, что для устойчивого развития платформы нужно срочно искать альтернативу: переходить на стек, которым мы можем управлять сами. При этом важно было сохранить команду: десятки разработчиков и аналитиков уже работали с существующей моделью. Новому решению следовало быть удобным для аналитиков, прозрачным для бизнеса и гибким для инженеров. В этой статье рассказываем о том, как мы перешли с проприетарных ETL-инструментов на open-source на базе dbt, какие проблемы решали по ходу внедрения, и как построили экосистему вокруг dbt для автоматизации рутинных задач.
-
Super Stealth Sunday! USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 shows airflow over the wings at the Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502 #Hover #VTOL
-
Super Stealth Sunday! USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 shows airflow over the wings at the Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502 #Hover #VTOL
-
Super Stealth Sunday! USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 shows airflow over the wings at the Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502 #Hover #VTOL
-
Super Stealth Sunday! USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 shows airflow over the wings at the Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502 #Hover #VTOL
-
Super Stealth Sunday! USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 shows airflow over the wings at the Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502 #Hover #VTOL
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.
https://habr.com/ru/companies/vk/articles/911960/
#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash
-
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.
https://habr.com/ru/companies/vk/articles/911960/
#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash
-
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.
https://habr.com/ru/companies/vk/articles/911960/
#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash
-
Планировщики процессов — другие open source решения
Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют интересные возможности для автоматизации, ускорения и упрощения настройки сложных workflow, и часто обладают более современной архитектурой, меньшим порогом входа или ярко выраженной специализацией для типовых задач. Сегодня познакомимся подробнее с инструментами, которые расширят ваш арсенал и помогут создавать более надёжные и экономичные системы.
https://habr.com/ru/companies/mws/articles/909790/
#metaflow #apache_airflow #StepWise #Dagu #Windmill #Flyte #workflow #работа_с_данными
-
Learning Data Engineering? Don’t just chase tools like Spark & Airflow. Focus on core concepts: data modeling, ETL, SQL (it's a must!). Do real projects, not just tutorials. Understand data architecture & quality checks. Think about scalability & governance early on. Tools change, but fundamentals stay. Take it slow, build strong. 🚀 #DataEngineering #LearningTips #SQL #TechCommunity
-
MLflow для исследований: как систематизировать ML-эксперименты
Когда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях. Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются.
https://habr.com/ru/articles/905986/
#mlflow #машинное_обучение #искусственный_интеллект #эксперименты #логирование #трекинг #mlops
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.
https://habr.com/ru/companies/T1Holding/articles/903546/
#hadoop #spark #airflow #hive #HDFS #Apache_Parquet #ddl #sql #eav #json
-
🤖🚀 Ah yes, because nothing says "simple" like melding Apache Airflow and LLM workflows with a side of AI Agents. Just what every developer dreams of: wrestling with Pydantic AI while pretending to control the automation beast. 🛠️✨
https://github.com/astronomer/airflow-ai-sdk #ApacheAirflow #LLMworkflows #AIAgents #PydanticAutomation #DeveloperDreams #HackerNews #ngated -
My #PC circa 19 years ago. Note the advanced airflow of having the hard drive outside of the case. The microphone mounted on the other side of the case with up and down maneuvering. The GOAT keyboard: #Dell #Quietkey. An #MX518 mouse in its heyday. #Firewire capabilities. #Pentium4 Inside. A #Microsoft #sidewinder controller. What a time to be alive
-
My #PC circa 19 years ago. Note the advanced airflow of having the hard drive outside of the case. The microphone mounted on the other side of the case with up and down maneuvering. The GOAT keyboard: #Dell #Quietkey. An #MX518 mouse in its heyday. #Firewire capabilities. #Pentium4 Inside. What a time to be alive
-
USMC F-35B of VMFAT-502 'Flying Nightmares" 168724 vapor across the wing allows visualization of the airflow. Capital Airshow, Mather Field, California March 2025 #airshow #capitalairshow #aviation #AvGeek #spotter #photography #Nikon #nikonphotgraphy #CCA2025 #F35B #USMC #VMFAT502
-
🌋💻 OceanSprint 2025 – Day 4 🚀
We made great progress today! Fixes to the apache-airflow package, improvements to Snix and integration test support in nixpkgs, and a blog post on preventing the XZ backdoor.
Big strides in supply chain security too: packaged SPIFFE for secure identity, and improved SBOM support via Laut, integrating it with Lila to track build provenance.
Plus, we hiked up a volcano for epic views and enjoyed traditional paella! 🍽️
-
This weekend I've bought parts to make a couple of 20"/50cm #CorsiRosenthalBox and an anenometer to measure the resultant airflow (so I can calculate the max size of room to install them in). The parts for each box will cost me about £60.
I'm hoping to be able to lend them to #queer events in #Manchester to help protect my community from the ongoing pandemic.
It'll take a while for the MERV 13 filters to arrive, then it's time to duct-tape everything together!