home.social

#etl — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #etl, aggregated by home.social.

  1. Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

    Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два подхода: прямой доступ к базе через SQL и использование готового ETL-инструмента. Разбираем скорость, сложность настройки, требования к специалистам, риски для безопасности и сопровождения системы. Также показываем, в каких случаях оправдан SQL, а когда удобнее использовать готовый инструмент для автоматической выгрузки данных по расписанию без постоянного участия разработчика.

    habr.com/ru/companies/infostar

    # #выгрузка_данных #автоматизация #SQL #ETL #интеграция_данных #базы_данных #Data_Engineering #обработка_данных #аналитика_данных

  2. ETL log: как упростить работу инженеров данных. Опыт «Ленты»

    Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы используем несколько инструментов. Чтобы разобраться с очередной задачей, приходится переключаться между ними, искать нужную информацию и собирать общую картину буквально по частям. В какой-то момент мы поняли, что большинство таких действий повторяются каждый день. Поэтому решили собрать самые востребованные сценарии в одном внутреннем инструменте. Так появился ETL log. В статье расскажем, почему решили его создать, какие задачи он помогает решать и как устроена работа с ним.

    habr.com/ru/companies/lentatec

    #etl #etlпроцессы #data_engineering #airflow #datahub #powerbi

  3. #Data #Integration Approaches and Methods in #ArcGIS tinyurl.com/yc4nxpen

    #ETL #interoperability #GIS #esri #mapping #GISchat #geospatial @esri @esrifederalgovt @esrislgov @esriblog @esritraining @arcgispro @arcgisonline @arcgisxprise @urisa

  4. Как я собрала Customer 360 с нуля и что поняла про analytics engineering

    У банков и ритейлеров, с которыми я работала, почти всегда одна и та же боль: данные о клиенте размазаны по CRM, core-banking и платёжным системам, и никто не может ответить на простой вопрос — а что мы вообще знаем об этом клиенте прямо сейчас. Чтобы попрактиковаться в решении этой задачи и показать подход публично, я собрала pet-проект: end-to-end пайплайн, который строит единую витрину Customer 360 из синтетических данных. Сразу оговорюсь: все данные генерируются локально скриптом и полностью синтетические. Кода или данных работодателя в проекте нет — это самостоятельная реализация архитектуры, которую я использую в повседневной работе DWH/data-аналитика.

    habr.com/ru/articles/1075786/

    #dbt #ETL #Customer360 #datawarehouse #Airflow #PostgreSQL #dataengineering #customerdataplatform

  5. Из Oracle в PostgreSQL одним INSERT: DuckDB как ETL без Oracle-клиента

    Когда говорят о DuckDB, обычно вспоминают аналитику: локальные запросы к Parquet, быстрые агрегации, ноутбуки. Но у него есть свойство, к аналитике отношения не имеющее: он умеет соединять источник и приёмник данных внутри одного SQL-плана. С расширениями для Oracle и PostgreSQL перенос данных сводится к одному запросу — без Instant Client, без OCI, без Python и без промежуточных файлов. А если одной сессии Oracle мало, чтение разбивается на параллельные шарды, читающие один согласованный снимок по единому SCN.

    habr.com/ru/articles/1073924/

    #DuckDB #Oracle #PostgreSQL #ETL #ELT #миграция_данных #ora2pg #oracle_fdw #TNS #аналитика_данных

  6. FlatAdapter для преобразования иерархических структур

    Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в детерминированный список плоских строк. Библиотека умеет приводить scalar-типы, обрабатывать optional-поля, извлекать значения по путям, разворачивать вложенные FlatAdapter-ы и строить декартово произведение списков.

    habr.com/ru/articles/1068172/

    #etl #airflow #python #backend #data_compose #data_mining #dwh

  7. Как я собрала локальную MCP-платформу для мониторинга промышленных данных

    Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

    habr.com/ru/articles/1064802/

    #MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

  8. Всё по полочкам или как мы создавали единую метрику для сотен моделей антифрода

    Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито . Мы пользуемся сотнями ИИ-моделей, чтобы бороться с действиями недобросовестных пользователей. Но иногда модели работают не так эффективно, как следует. Поэтому моя команда решила найти аутсайдеров и передать их на доработку DS-инженерам. Расскажу, как мы пересматривали подход к оценке моделей. Статья будет полезна аналитикам и DS, которые работают с несколькими ML-моделями в проде и хоть раз озадачились вопросом, как сравнивать их между собой.

    habr.com/ru/companies/avito/ar

    #аналитика_данных #etl #sql #antifraud #модель_данных #trino #bi

  9. Как LLM могут помочь определить Data Lineage

    Сегодня данные стали основой для принятия решений, а их качество и прозрачность — критичными факторами успеха любого бизнеса. Однако с ростом объёма информации и усложнением архитектуры баз данных аналитики всё чаще сталкиваются с такими проблемами, как неясность происхождения данных, трудность в отслеживании их преобразований, риски использования устаревших или некорректных метрик. Приходится постоянно полагаться на традиционную документацию, спецификации по загрузке данных или Source-to-Target mapping-файлы. Эти артефакты, как правило, быстро устаревают, не отражая актуальной логики преобразований, зашитой в ETL-процессах и SQL-коде. В результате необходимо вручную поддерживать актуальность такой документации, или, что ещё ресурсозатратнее, проведить реверс-инжиниринг тысяч строк SQL-кода хранилища данных для понимания реальных зависимостей. Эти проблемы обостряются в контексте постоянных изменений ИТ-ландшафта, например, миграции в облако, замены устаревших систем-источников (legacy systems) или интеграции новых платформ. И если нет понимания «жизненного цикла» данных, то это превращается в прямую угрозу для бизнес-непрерывности. Критичной задачей становится безопасное и контролируемое переключение существующих решений — витрин, дашбордов и отчётов — на новые источники данных при строгом условии минимизации или полного исключения влияния на конечных потребителей. Здесь на первый план выходит концепция Data Lineage. Это не просто инструмент для документирования пути данных от источника до конечного отчёта, а ключевой механизм управления изменениями. Data Lineage обеспечивает полную видимость всех исходных, промежуточных и итоговых объектов, позволяя точно оценить воздействие планируемой миграции, и даёт ответ на главные вопросы: - Какие витрины и отчёты зависят от этого источника? - Какие преобразования данных необходимо проверить или перенастроить? - Откуда в новой системе взять актуальные и корректные данные? Мы рассмотрим, как с помощью применения больших языковых моделей (LLM) для автоматического анализа SQL-кода и ETL-логики извлечь точный Data Lineage.

    habr.com/ru/companies/sberbank

    #data_lineage #llm #sql #etl

  10. Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации

    Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.

    habr.com/ru/articles/1060944/

    #airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners

  11. DE. Путь файла по слоям

    В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая попала в rejects с конкретной причиной. На этом небольшом примере покажу весь путь данных через RAW, STG, CORE и MARTS. Разберём, где меняются строки и суммы, как пережить повторную доставку файла и какие проверки позволяют доверять итоговому дашборду. Внутри MinIO, Postgres и Airflow.

    habr.com/ru/articles/1062446/

    #Data_Engineering #ETL #DWH #пайплайн_данных #Apache_Airflow #PostgreSQL #MinIO #Data_Quality #CSV #BI

  12. AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети

    Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 16 500 отзывов в одном контуре, более 9 500 записей в собственном хранилище, четыре XML-фида, мониторинг, автоответы и 130+ страниц документации. Все это обходится в 8,5К в месяц. Это кейс не только про AI-assisted development, но и про вполне прикладную пользу для бизнеса: меньше ручной работы, меньше пропусков и ошибок, единая аналитика и понятная стоимость эксплуатации. А заодно – честный разбор того, где AI действительно снижает порог входа в разработку, а где без человеческого контроля быстро начинает моросить.

    habr.com/ru/articles/1060962/

    #AIassisted_development #ChatGPT #автоматизация_бизнеспроцессов #Cloudflare_Workers #Cloudflare_D1 #serverless #ETL #интеграция_API #data_engineering #автоматизация_отзывов

  13. CROWler 2.0 has landed 🚀

    Highlights:
    • Redesigned Information Seeds for discovering and onboarding relevant sources
    • Rebuilt email/newsletter discovery that turns useful signals into structured data
    • More powerful AI and non-AI Agents 2.0
    • OpenAPI support for custom API plugins
    • More scalable events and analysis tools
    • Better performance, lower memory use and greater scalability

    github.com/pzaino/thecrowler

    What discovery pipeline will you build next?

    #TheCROWler #DataDiscovery #ETL #OSINT

  14. Каталог данных: что нужно знать, прежде чем начинать внедрение

    Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и использование информации. В качестве одного из компонентов подобных модернизированных реализаций нередко рассматривают дата-каталог, который помогает навести порядок в метаданных и сделать данные более доступными. Вместе с тем хоть такой подход и имеет право на жизнь, но практика показывает, что наибольший потенциал каталоги данных раскрывают, когда их внедрению предшествует выстраивание базовых процессов управления: ответственности за данные, контроля качества и управления изменениями. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье разберем, почему каталог — это не первый шаг к порядку, а скорее мультипликатор уже существующей зрелости и что необходимо сделать, чтобы его внедрение принесло реальную пользу.

    habr.com/ru/companies/vktech/a

    #data_catalog #data_governance #метаданные #качество_данных #lineage #data_contracts #etl #sla #управление_данными #vk_data_platform

  15. AgTech без хайпа: как мы строим систему, которая доводит агронома от симптома на поле до решения

    Автор: Олег Линьков, Webformula ( webformula-agro.ru ) Агросектор — одна из самых недооценённых ниш для прикладного AgTech. Здесь нет хайпа вокруг LLM на каждом шагу, зато есть жёсткие ограничения, которые делают задачу интересной с инженерной точки зрения: сезонность с точностью до недель, географическая распределённость, аудитория с низкой толерантностью к нерелевантному шуму и предметная область, где ошибка в данных стоит реального урожая. Я двенадцать лет занимаюсь digital в агро и последние годы — построением систем, которые работают на стыке предметной агрономии и продуктовой инженерии. В этой статье — без маркетинга, только архитектура и продуктовая логика — разберу, как устроены три вещи: автоматизация сезонности в рекламных кампаниях, система поддержки решений (DSS) как алгоритмическое дерево, и триггерные коммуникации на базе погодного API. И почему в этой нише источник данных важнее модели.

    habr.com/ru/articles/1054028/

    #agtech #dss #etl #rule_engine #Headless_API

  16. Как я устал писать парсер под каждый прайс и сделал из этого библиотеку

    У нас на проекте десятки прайсингов на топливо: один вендор шлёт CSV, другой Excel, третий JSON на вебхук. Данные одни и те же, но колонка цены везде называется по-своему, даты в трёх форматах, единицы то литры, то галлоны, а половина нужных полей просто отсутствует. И под каждый источник у меня жил отдельный парсер на сотню строк if-else. Сначала их было три, потом восемь, потом я перестал считать. А по-настоящему добило другое: эти парсеры ломались молча. Вендор тихо переименовывал колонку. В третий раз за месяц копируя один и тот же парсер, я понял, что так нельзя, и вынес логику маппинга из кода в данные. Из этого выросла библиотека fidelis: ты описываешь данные один раз как Pydantic-модель, а соответствие под каждый кривой источник один раз пишет LLM — в виде читаемой YAML-спеки, которую ты ревьюишь и коммитишь. Дальше LLM не нужен: чистый детерминированный Python, валидация каждой строки и отлов изменений схемы ещё в CI. Рассказываю, как дошёл до жизни такой и как это устроено.

    habr.com/ru/articles/1053956/

    #python #парсинг_данных #ETL #pydantic #обработка_csv #интеграция_данных #llm #конвейер_данных #валидация_данных #open_source

  17. it is crazy how much info is packed into daily wsj is another example but how to access it all for a more holistic and granular view #etl jobs

  18. The other day I created a solution for a client of mine to find out which of their #database stored views got used actively by an #ETL middleware application. It involved many steps.

    1. Figure out where the middleware stores its processing configurations.
    2. Figure out their structure.
    3. Translate that structure into something I can use.
    4. Filter out the database object names.
    5. Make those available to the DB.
    6. Find matches in the DB.
    7. Find the remainder.

    Fun stuff.

  19. Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

    Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.

    habr.com/ru/articles/1051760/

    #postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops

  20. FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

    Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.

    habr.com/ru/companies/avito/ar

    #trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы

  21. Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели

    Сквозная аналитика для B2C: связать клик в рекламе с оплатой и посчитать ROMI. Ядро MVP (реклама + веб + биллинг в Google Sheets, дашборд в BI) собирается за две недели с Claude Code. А честные цифры - атрибуция, когорты, грабли API - занимают месяцы и требуют головы, не LLM.

    habr.com/ru/articles/1047394/

    #сквознаяаналитика #romi #атрибуция #claudecode #etl #googlesheets

  22. Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

    Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

    habr.com/ru/companies/X5Tech/a

    #scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

  23. Использование Trino для построения ETL-процессов

    1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.

    habr.com/ru/companies/neoflex/

    #Neoflex #Trino #ETL #ELT #Data_Lake #Lake_House

  24. Of interest to #Canadians. With the Fedi skew to tech-knowledgeable people, this probably isn't news to many.

    But if you're looking to buy #electrical stuff - power bars, extension cords, multi-outlet wall taps that convert 1 #socket into 3 or 2 into 6, all this sort of stuff - be careful where you buy it.

    The big hardware stores / home centres sell this stuff, but at stupidly-high #prices. There's no reason a 10-foot extension cord should cost $25, or a power bar $40. So many people reasonably look for #cheaper alternatives.

    A lot of #stores and sellers operating in the ... less-well-regulated portions of the market bring this stuff in cheap directly from sellers/manufacturers in China or other countries. Independent stores, mall kiosks, people selling out of their home - their products may not be approved for sale in Canada, because they don't have the necessary #safety #certification. And many of *those* products are actually downright dangerous. I've taken a lot of them apart and seen the many, many ways they can kill you or burn your house down.

    Instead, get this stuff at #Dollarama. Their stuff is actually safety-certified by one of the required labs - #CSA, #UL, or most likely #ETL. It's approved for sale in #Canada. And it's still cheap. It might be a little more than guy-with-a-sales-counter-in-a-dilapidated-strip-mall, but not by enough to matter.

    Other big chains might be okay - but I haven't personally verified those.

    #PowerBar #ExtensionCord

  25. Выбор российского ETL-инструмента в 2025 и чек-лист

    Привет! Перед вами новое исследование, посвящённое одной из ключевых технологий управления данными — процессам извлечения, преобразования и загрузки данных (ETL) . Оно стало логическим продолжением первого обзора рынка ETL-решений, выпущенного нашей командой три года назад. За это время многое изменилось. Если в 2022-м рынок опирался на зарубежные платформы, то сегодня акценты сместились в сторону отечественных продуктов. Причины очевидны: уход иностранных вендоров, трудности с продлением лицензий, обновлениями и поддержкой. Импортозамещение из формальности превратилось в стратегическую задачу, а потребность в надёжных российских инструментах — в вопрос технологической безопасности. Одновременно усилились и глобальные вызовы: рост объёмов данных, переход бизнеса к моделям прогнозной аналитики и управлению на основе данных. ETL-системы в этой экосистеме занимают фундаментальное место — именно они превращают разрозненные источники в согласованный поток информации, на котором строятся аналитика, модели машинного обучения и управленческие решения.

    habr.com/ru/articles/974502/

    #ETL #extract #transform #load #загрузка_данных #dwh #хранилище_данных #слои_данных

  26. Добавляем MapReduce в этот наш SQL: генераторы на основе курсоров

    Вот уже который год я потихоньку разрабатываю SQL-ный движок на основе Apache Spark, специализированный под задачи ETL. И хотя диалект языка изначально называется «Transform Definition Language», писать трансформации данных непосредственно на нём самом было до сих пор невозможно. Вместо этого на фазе Transform предполагалось использовать подключаемые модули, которые рантайм интерпретатора предоставляет из Java classpath. Это очень эффективный с точки зрения производительности, но довольно долгий с точки зрения внедрения, и дорогой в разработке способ. Сначала трансформацию надо описать формально в виде статьи-whitepaper'а (это делает data scientist), потом написать прототип на Python (ответственность data analyst), отладиться на сэмпле реальных данных (тоже аналитик), и тогда уже делать и оптимизировать финальную имплементацию на Java с использованием низкоуровневого API Spark (собственно, задача разработчика). Неудобно. Нельзя ли его как-нибудь сократить? Например, дать аналитикам инструмент для написания трансформаций непосредственно в самом SQL, вынеся некоторую часть функциональности MapReduce как разновидность итерирующих функций? Можно, конечно! Давайте узнаем, как именно

    habr.com/ru/articles/958362/

    #sql #etl #apache_spark #java #hadoop #big_data #big_data_solutions #big_data_tools #интерпретатор

  27. Ich mag nochmal auf unsere Werki-Stelle in #Erlangen oder #Marburg hinweisen: 👉 jobs.siemens-healthineers.com/

    Zu tun haben wir genug und je nach persönlichen Zielen bist Du eher im Front-End (#Qlik, Analysen für internationale Nutzer, #PowerBI,...) oder hilfst mir hinter den Kulissen (#Python, #SQL, #ETL, Berechtigungsmanagement...).

    Deinen neuen Laptop habe ich gerade bestellt, jetzt fehlst nur noch Du. #Job #Werkstudent #SiemensHealthineers #Healthineers

  28. Как мы поменяли методику исследования «BI-круг Громова», чтобы результаты стали еще точнее

    «Круги Громова» занимается сравнительными исследованиями ИТ-решений. Начинали мы с исследований именно BI-систем (системы бизнес-аналитики, business intelligence) и разбираемся в них, как считаем, весьма хорошо. По задумке наши исследования (кстати, ежегодные) должны быть чем-то вроде карты для ИТ-отделов и руководителей, чтобы помочь им разобраться в дебрях множества современных BI-решений. Одним из основных параметров, влияющих на объективность исследования, является его методика. Поэтому мы постоянно думаем над тем, как сделать нашу методику еще более точной, учитывающей еще больше факторов и позволяющей раскрыть максимум информации о решениях, которые попали к нам под микроскоп.

    habr.com/ru/articles/792292/

    #BI #business_intelligence #Круги_Громова #BIкруг_Громова #СУБД #ETL #Data_catalog #бизнесаналитика #selfservice_BI #визуализация_данных