#etl — Public Fediverse posts

Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.

https://habr.com/ru/companies/infostart/articles/1077596/

#1С #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных

ETL log: как упростить работу инженеров данных. Опыт «Ленты»

Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.

https://habr.com/ru/companies/lentatech/articles/1075374/

#etl #etlпроцессы #data_engineering #airflow #datahub #powerbi