#etl — Public Fediverse posts

Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.

https://habr.com/ru/companies/infostart/articles/1077596/

#1С #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных

ETL log: как упростить работу инженеров данных. Опыт «Ленты»

Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.

https://habr.com/ru/companies/lentatech/articles/1075374/

#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.

https://habr.com/ru/articles/1031358/

#starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl

No free lunch, but free data matching? Yes please! 🍽️💻 QDeFuZZiner Lite at your service!

#DataScience #FuzzyMatch #EntityResolution #DataAnalytics #BusinessIntelligence #BusinessSoftware #FreeSoftware #QDeFuZZiner #Matasoft #SaaS #DataAnalysis #RecordLinkage #DataMatching #DataMerging #B2B #B2C #MasterData #MasterDataManagement #MDM #ETL #DigitalAgency #DigitalMarketing
https://matasoft.hr/qtrendcontrol/index.php/qdefuzziner-fuzzy-data-matching-software/various-articles/121-qdefuzziner-lite-free