#etl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #etl, aggregated by home.social.
-
Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент
Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.
https://habr.com/ru/companies/infostart/articles/1077596/
#1С #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных
-
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.
https://habr.com/ru/companies/lentatech/articles/1075374/
#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi
-
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.
https://habr.com/ru/companies/lentatech/articles/1075374/
#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi
-
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.
https://habr.com/ru/companies/lentatech/articles/1075374/
#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi
-
#Data #Integration Approaches and Methods in #ArcGIS https://tinyurl.com/yc4nxpen
#ETL #interoperability #GIS #esri #mapping #GISchat #geospatial @esri @esrifederalgovt @esrislgov @esriblog @esritraining @arcgispro @arcgisonline @arcgisxprise @urisa
-
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.
https://habr.com/ru/articles/1051760/
#postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops
-
Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.
https://habr.com/ru/companies/X5Tech/articles/1034656/
#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных
-
When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?
An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.
🔮 Spoiler: how the data is read is the key to the choice.
In the article: every choice with its why, plus a few gems from some Glue experience 😄
-
Почему российский бизнес проигрывает битву за информацию и как это исправить. Часть 2
Представьте себе классическую ситуацию: финансовый директор смотрит на два отчета по выручке за прошлый год. Один отчет, построенный в старой системе, показывает 150 миллионов рублей, другой — в новой корпоративной CRM — демонстрирует 145 миллионов. Разница в 5 миллионов, а вместе с ней и ощущение, что новая система «врет» и вводит всех в заблуждение. Начинается поиск виноватых, и, как это часто бывает, крайними оказываются ИТ-специалисты, якобы «неправильно настроившие миграцию». Но проблема гораздо глубже. Дело не в кривых скриптах и не в саботаже данных. Причина кроется в «Иллюзии темпоральности» — коварном и широко распространенном заблуждении, что изменчивостью данных во времени можно пренебречь, и достаточно хранить лишь последнее известное состояние. В то время как реальный бизнес находится в бесконечной динамике: клиенты переезжают, меняют паспортные данные и сегменты лояльности; товары проходят через ребрендинг и смену классификаций; сотрудники переходят из отдела в отдел. Если система фиксирует лишь последний известный срез, прошлое в отчетах неизбежно исказится, что и приводит к тем самым «пропавшим» или нестыкующимся суммам. Современные методологии управления данными, в частности Slowly Changing Dimensions (SCD) или «Медленно меняющиеся измерения», предлагают элегантный и проверенный способ справиться с этой иллюзией, превратив хаос непрерывных изменений в стройную, аналитически ценную картину.
https://habr.com/ru/articles/1033430/
#качество_данных #scd #slowly_changing_dimensions #темпоральность #миграция_данных #sap #импортозамещение #etl #sql #системный_анализ
-
Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Часть 2: Modus ETL & Modus BI
Меня зовут Андрей Рыжик, я product owner BI-направления компании «Белый код». Это вторая статья из серии, в которой мы изучаем российские BI-системы с поддержкой ETL для клиентов из малого и среднего бизнеса с бюджетом до 1,5 млн рублей. Сегодня разбираем связку от компании Modus: Modus ETL и Modus BI.
https://habr.com/ru/companies/w_code/articles/1022844/
#biаналитика #bi #biсистема #бизнесаналитика #modus #modus_bi #modus_etl #etl
-
Geo-enabling Apache #Hop: @edigonzales has been geo-enabling the open-source #ETL tool #ApacheHop, building #GDAL/#OGR reader and writer plug-ins and adding an interactive preview for geometries: Early days, but promising progress toward a fully geo-capable data integration pipeline tool.
https://spatialists.ch/posts/2026/03/10-geo-enabling-apache-hop/ #GIS #GISchat #geospatial #SwissGIS -
Telegram-бот вместо Excel-рутины: как я автоматизировал рутину с помощью Python
Как я заменил Excel-сводные на Telegram-бота и ускорил контроль потерь на складе Я автоматизировал рутинный процесс, который постоянно отъедал время: сбор выгрузок, построение сводных в Excel, перенос результатов в Google Sheets и ручной контроль повторений. Теперь всё делается одной кнопкой в Telegram: бот берёт последний файл из папки на Яндекс.Диске, обрабатывает данные и выкладывает готовую витрину в Google Sheets. Отдельно он показывает товар, который начнёт списываться в ближайшие 24 часа — это стало не просто ускорением, а новым инструментом управления потерями. Как всё было?
https://habr.com/ru/articles/1007960/
#python #telegrambot #google_sheets #api #oauth #yandex_disk #pandas #etl #devops #автоматизация
-
Geospatial data integration with Apache Hop: Over 100 participants joined a webinar on “Enterprise and Geodata Integration with #Apache #Hop”, highlighting interest in open, extensible geospatial #DataEngineering and #ETL. The session introduced two new geospatial Hop plugins, outlined future... @sfkeller
https://spatialists.ch/posts/2026/02/12-geospatial-data-integration-with-apache-hop/ #GIS #GISchat #geospatial #SwissGIS -
#ApacheHop got a new release 2.17 last week :)
This is one awesome #ETL tool and even though I cannot contribute anything in code to this project, I try to find and submit bugs and documentation issues whenever I can! -
Как мы сделали одну большую песочницу для всех аналитиков
В мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится неотъемлемой частью успешной стратегии бизнеса. Мы команда РСХБ.Цифра, в которой я, Кристина Проскурина , руковожу управлением бизнес-анализа данных, а Алексей Кошевой , руководитель отдела развития витрин данных «РСХБ-Интех», руководит разработкой аналитической отчетности и платформы по исследованию данных. В этой статье мы расскажем, как наша команда разработала единую песочницу для аналитиков, которая объединила все инструменты и ресурсы в одном месте, обеспечивая эффективность, удобство и возможность совместной работы. К песочнице
https://habr.com/ru/companies/rshb/articles/899482/
#greenplum #песочница_для_аналитиков #бизнесанализ_данных #аналитическая_отчетность #Airflow #Озеро_данных #Visiology #ETL #PXF #ETLфреймворк
-
Atlassian introduced Lithium - an in-house #ETL platform designed to meet the requirements of dynamic data movement.
Lithium simplifies cloud migrations, scheduled backups, and in-flight data validations with ephemeral pipelines and tenant-level isolation - ensuring efficiency, scalability & cost savings.
📢 InfoQ spoke with Niraj Mishra, Principal Engineer at Atlassian, about Lithium’s implementation and future.
🔗 Read more here: https://bit.ly/415RPYZ
#DataPipelines #KafkaStreams #ApacheKafka #ApacheFlink #SoftwareArchitecture
-
Need to match and merge two chaotic spreadsheets? Comparing product prices from multiple vendors? Customer lists cluttered with duplicates? Product catalogs inconsistent? Real estate records fragmented and unreliable? Voter or marketing lists full of typos?
#FuzzyMatch #DataManagement #DataMatching #DataCleaning #ETL #MDM #MasterData #QDeFuZZiner #DataAnalytics #DataConsolidation #DigitalServices #ITServices #BusinessIntelligence #B2B #B2C #DigitalMarketing
-
🎁 An early Christmas present for y'all: a new blog in which I explore Flink CDC. Building data pipelines declaratively is pretty nice, but is it ready for prime-time? Let's find out!
-
Кейс: как мы доработали SLA с помощью ETL
Привет, Хабр. Мы с командой Modus решили один из внутренних кейсов по учету времени на решение и статусов задач. В этой статье я расскажу, как мы применили для этого ETL и сэкономили 80% времени и ресурсов на кастомизацию таск-трекера. Если у вас есть ETL – берите на вооружение.
https://habr.com/ru/companies/modusbi/articles/776248/
#modusbi #modus #etl #etlпроцессы #sla #учет_рабочего_времени #учет_задач #сопровождение_проектов