#etl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #etl, aggregated by home.social.
-
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.
https://habr.com/ru/companies/lentatech/articles/1075374/
#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi
-
#Data #Integration Approaches and Methods in #ArcGIS https://tinyurl.com/yc4nxpen
#ETL #interoperability #GIS #esri #mapping #GISchat #geospatial @esri @esrifederalgovt @esrislgov @esriblog @esritraining @arcgispro @arcgisonline @arcgisxprise @urisa
-
Как я собрала Customer 360 с нуля и что поняла про analytics engineering
У банков и ритейлеров, с которыми я работала, почти всегда одна и та же боль: данные о клиенте размазаны по CRM, core-banking и платёжным системам, и никто не может ответить на простой вопрос — а что мы вообще знаем об этом клиенте прямо сейчас. Чтобы попрактиковаться в решении этой задачи и показать подход публично, я собрала pet-проект: end-to-end пайплайн, который строит единую витрину Customer 360 из синтетических данных. Сразу оговорюсь: все данные генерируются локально скриптом и полностью синтетические. Кода или данных работодателя в проекте нет — это самостоятельная реализация архитектуры, которую я использую в повседневной работе DWH/data-аналитика.
https://habr.com/ru/articles/1075786/
#dbt #ETL #Customer360 #datawarehouse #Airflow #PostgreSQL #dataengineering #customerdataplatform
-
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в детерминированный список плоских строк. Библиотека умеет приводить scalar-типы, обрабатывать optional-поля, извлекать значения по путям, разворачивать вложенные FlatAdapter-ы и строить декартово произведение списков.
https://habr.com/ru/articles/1068172/
#etl #airflow #python #backend #data_compose #data_mining #dwh
-
Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации
Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.
https://habr.com/ru/articles/1060944/
#airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners
-
CROWler 2.0 has landed 🚀
Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalabilityhttps://github.com/pzaino/thecrowler
What discovery pipeline will you build next?
-
Как мы построили сквозную аналитику в Power BI
Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматериалов. Они активно работали с рекламой в Яндекс Директ и Google Ads (клиент вел деятельность в Казахстане), следили за аналитикой сайта в Яндекс Метрике, в качестве CRM использовали Битрикс24.
https://habr.com/ru/articles/1038944/
#сквозная_аналитика #Power_BI #BIаналитика #Яндекс_Директ #Google_Ads #Яндекс_Метрика #Битрикс24 #ETL #Data_Engineering #бизнесаналитика
-
Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.
https://habr.com/ru/companies/X5Tech/articles/1034656/
#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных
-
TCO или Полная Стоимость Владение современных подходов в ETL для DB MPP
О чем эта статья : В данной статье я хочу сравнить TCO старых добрых ETL как например Informatica, ODI, MarkitEDM и подобных им vs DBT + AirFlow и подобных им Очень легко проанализировать стоимость лицензий или вычислений и хранения в случае облачной БД, но очень сложно — TCO. Стоимость разработки одной фичи, стоимость поддержки, стоимость сопровождения, стоимость изменений. Очень заманчиво учитывать только расходы на лицензии и вычисления и предполагать, что все остальные расходы одинаковы, хотя это не так. По умолчанию облачные MPP-базы обычно дешевле по хранению и вычислениям и не имеют лицензионной платы, и возникает соблазн использовать такой же безлицензионный подход в ETL, но есть недостатки :
-
Geo-enabling Apache #Hop: @edigonzales has been geo-enabling the open-source #ETL tool #ApacheHop, building #GDAL/#OGR reader and writer plug-ins and adding an interactive preview for geometries: Early days, but promising progress toward a fully geo-capable data integration pipeline tool.
https://spatialists.ch/posts/2026/03/10-geo-enabling-apache-hop/ #GIS #GISchat #geospatial #SwissGIS -
Geospatial data integration with Apache Hop: Over 100 participants joined a webinar on “Enterprise and Geodata Integration with #Apache #Hop”, highlighting interest in open, extensible geospatial #DataEngineering and #ETL. The session introduced two new geospatial Hop plugins, outlined future... @sfkeller
https://spatialists.ch/posts/2026/02/12-geospatial-data-integration-with-apache-hop/ #GIS #GISchat #geospatial #SwissGIS -
#ApacheHop got a new release 2.17 last week :)
This is one awesome #ETL tool and even though I cannot contribute anything in code to this project, I try to find and submit bugs and documentation issues whenever I can! -
Как я разработал скрипт для загрузки данных и разгрузил ИТ-отдел
Привет, Хабр! Кто бы мог подумать, что рутинная просьба «помоги с Excel» запустит цепочку событий, которая изменит подход к работе всего отдела и вдохновит на создание собственного ИТ-продукта? Меня зовут Максим Бритвин, я старший консультант-разработчик в «КОРУС Консалтинг», и сегодня расскажу, как один простой скрипт вырос в инструмент, который разгрузил айтишников и дал финансистам автономность в работе с данными. Эта статья о том, как рождаются продукты из задач, которые никто не любит делать вручную.
https://habr.com/ru/companies/korus_consulting/articles/929554/
-
Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года
В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль. Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ. Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.
https://habr.com/ru/articles/801599/
#данные #прогноз #хранилище #управление_данными #дата_каталоги #etl #BI #big_data #тренды_в_it
