#etl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #etl, aggregated by home.social.
-
Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/
-
Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/
-
Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/
-
Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/
-
CROWler 2.0 has landed 🚀
Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalabilityhttps://github.com/pzaino/thecrowler
What discovery pipeline will you build next?
-
CROWler 2.0 has landed 🚀
Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalabilityhttps://github.com/pzaino/thecrowler
What discovery pipeline will you build next?
-
Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/
-
Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/
-
Ingénierie des données : *construire une cathédrale*. #DataEngineering #DataEngineer #Expertise #Tech #Luxe #ETL #Sécurité #RGPD ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-expertise-share-7478710263576453122-KpIB/
-
Ingénierie des données : *construire une cathédrale*. #DataEngineering #DataEngineer #Expertise #Tech #Luxe #ETL #Sécurité #RGPD ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-expertise-share-7478710263576453122-KpIB/
-
Каталог данных: что нужно знать, прежде чем начинать внедрение
Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и использование информации. В качестве одного из компонентов подобных модернизированных реализаций нередко рассматривают дата-каталог, который помогает навести порядок в метаданных и сделать данные более доступными. Вместе с тем хоть такой подход и имеет право на жизнь, но практика показывает, что наибольший потенциал каталоги данных раскрывают, когда их внедрению предшествует выстраивание базовых процессов управления: ответственности за данные, контроля качества и управления изменениями. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье разберем, почему каталог — это не первый шаг к порядку, а скорее мультипликатор уже существующей зрелости и что необходимо сделать, чтобы его внедрение принесло реальную пользу.
https://habr.com/ru/companies/vktech/articles/1054554/
#data_catalog #data_governance #метаданные #качество_данных #lineage #data_contracts #etl #sla #управление_данными #vk_data_platform
-
AgTech без хайпа: как мы строим систему, которая доводит агронома от симптома на поле до решения
Автор: Олег Линьков, Webformula ( webformula-agro.ru ) Агросектор — одна из самых недооценённых ниш для прикладного AgTech. Здесь нет хайпа вокруг LLM на каждом шагу, зато есть жёсткие ограничения, которые делают задачу интересной с инженерной точки зрения: сезонность с точностью до недель, географическая распределённость, аудитория с низкой толерантностью к нерелевантному шуму и предметная область, где ошибка в данных стоит реального урожая. Я двенадцать лет занимаюсь digital в агро и последние годы — построением систем, которые работают на стыке предметной агрономии и продуктовой инженерии. В этой статье — без маркетинга, только архитектура и продуктовая логика — разберу, как устроены три вещи: автоматизация сезонности в рекламных кампаниях, система поддержки решений (DSS) как алгоритмическое дерево, и триггерные коммуникации на базе погодного API. И почему в этой нише источник данных важнее модели.
-
Как я устал писать парсер под каждый прайс и сделал из этого библиотеку
У нас на проекте десятки прайсингов на топливо: один вендор шлёт CSV, другой Excel, третий JSON на вебхук. Данные одни и те же, но колонка цены везде называется по-своему, даты в трёх форматах, единицы то литры, то галлоны, а половина нужных полей просто отсутствует. И под каждый источник у меня жил отдельный парсер на сотню строк if-else. Сначала их было три, потом восемь, потом я перестал считать. А по-настоящему добило другое: эти парсеры ломались молча. Вендор тихо переименовывал колонку. В третий раз за месяц копируя один и тот же парсер, я понял, что так нельзя, и вынес логику маппинга из кода в данные. Из этого выросла библиотека fidelis: ты описываешь данные один раз как Pydantic-модель, а соответствие под каждый кривой источник один раз пишет LLM — в виде читаемой YAML-спеки, которую ты ревьюишь и коммитишь. Дальше LLM не нужен: чистый детерминированный Python, валидация каждой строки и отлов изменений схемы ещё в CI. Рассказываю, как дошёл до жизни такой и как это устроено.
https://habr.com/ru/articles/1053956/
#python #парсинг_данных #ETL #pydantic #обработка_csv #интеграция_данных #llm #конвейер_данных #валидация_данных #open_source
-
it is crazy how much info is packed into daily wsj is another example but how to access it all for a more holistic and granular view #etl jobs
-
it is crazy how much info is packed into daily wsj is another example but how to access it all for a more holistic and granular view #etl jobs
-
The other day I created a solution for a client of mine to find out which of their #database stored views got used actively by an #ETL middleware application. It involved many steps.
1. Figure out where the middleware stores its processing configurations.
2. Figure out their structure.
3. Translate that structure into something I can use.
4. Filter out the database object names.
5. Make those available to the DB.
6. Find matches in the DB.
7. Find the remainder.Fun stuff.
-
The other day I created a solution for a client of mine to find out which of their #database stored views got used actively by an #ETL middleware application. It involved many steps.
1. Figure out where the middleware stores its processing configurations.
2. Figure out their structure.
3. Translate that structure into something I can use.
4. Filter out the database object names.
5. Make those available to the DB.
6. Find matches in the DB.
7. Find the remainder.Fun stuff.
-
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.
https://habr.com/ru/articles/1051760/
#postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops
-
Оркестрация рабочих процессов: полное руководство
Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...
#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL
Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo
-
FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф
Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.
https://habr.com/ru/companies/avito/articles/1043532/
#trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы
-
Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели
Сквозная аналитика для B2C: связать клик в рекламе с оплатой и посчитать ROMI. Ядро MVP (реклама + веб + биллинг в Google Sheets, дашборд в BI) собирается за две недели с Claude Code. А честные цифры - атрибуция, когорты, грабли API - занимают месяцы и требуют головы, не LLM.
https://habr.com/ru/articles/1047394/
#сквознаяаналитика #romi #атрибуция #claudecode #etl #googlesheets
-
Exploring Tools in #ArcGIS #Data Pipelines https://tinyurl.com/3tvrx8e8
#ETL #DataMgmt #GIS #esri #GISchat #geospatial @esri @esrifederalgovt @esrislgov @arcgisonline @arcgisxprise @esritraining
-
Exploring Tools in #ArcGIS #Data Pipelines https://tinyurl.com/3tvrx8e8
#ETL #DataMgmt #GIS #esri #GISchat #geospatial @esri @esrifederalgovt @esrislgov @arcgisonline @arcgisxprise @esritraining
-
Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики
Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы проверки, стремясь получить «единую версию правды». Однако сегодня этого уже недостаточно. В условиях, когда скорость реакции определяет успех, на первый план выходит новый критерий — актуальность. Способность данных отражать реальное положение дел в момент принятия решения становится решающим фактором. При этом классические архитектуры, основанные на ночных загрузках в DWH, создают временной лаг, который превращает «правду» во «вчерашнюю». Привет, Хабр. Меня зовут Александр Шалудин. Я Presale-архитектор Data Services VK Tech. В этой статье я разберу, к чему может приводить работа с неактуальной информацией и как выстроить архитектуру, которая позволит устранить этот разрыв. Из-за высокой конкуренции и сопутствующих вызовов многие компании стремятся стать Data-Driven, то есть принимать решения, основываясь на данных, чтобы сохранять конкурентоспособность, быстро реагировать на тренды и взвешенно оценивать бизнес-процессы. Однако точность этих решений напрямую зависит не только от качества информации, но и от ее актуальности и доступности в нужный момент. Ключевая угроза здесь — задержка данных. Это не просто неудобство, а прямые скрытые расходы. Компания может иметь выстроенные процессы контроля качества и полные справочники, но, если ответ от аналитической системы нужен сегодня, а данные поступят только завтра или через неделю, их ценность для принятия оперативных решений стремится к нулю.
https://habr.com/ru/companies/vktech/articles/1044946/
#tarantool_column_store #htap #data_fabric #oltp #olap #realtime_analytics #tarantool #etl #mdm #vk_tech
-
As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.
Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/ -
As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.
Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/ -
-
-
TROCCOの転送先カスタムコネクタを利用して、Zendeskのチケットにフォロワーを自動追加する
https://qiita.com/kimura34/items/29ad3abf97c8fc182493?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
AI vs. FME / geospatial tools?: Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more...
https://spatialists.ch/posts/2026/05/28-ai-vs-fme-geospatial-tools/ #GIS #GISchat #geospatial #SwissGIS -
AI vs. FME / geospatial tools?: Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more...
https://spatialists.ch/posts/2026/05/28-ai-vs-fme-geospatial-tools/ #GIS #GISchat #geospatial #SwissGIS -
#ArcGIS #Data Pipelines is Now Available in #ArcGISEnterprise https://tinyurl.com/yfcztkmc
#DataMgmt #ETL #integration #automation #GIS #esri #GISchat #geospatial @esri @arcgisxprise @esrifederalgovt @esrislgov @esritraining @urisa
-
#ArcGIS #Data Pipelines is Now Available in #ArcGISEnterprise https://tinyurl.com/yfcztkmc
#DataMgmt #ETL #integration #automation #GIS #esri #GISchat #geospatial @esri @arcgisxprise @esrifederalgovt @esrislgov @esritraining @urisa
-
Как за один вечер я написал сервис инвентаризации оргтехники для филиальной сети из 16 локаций
Знакомая работает в IT-департаменте организации с 16 филиалами и ~5000 единиц оргтехники на балансе. Попросила: “Сделай сервис, чтобы загрузить фотку шильдика, и он сказал, у кого эта железка стоит”. Звучит просто. На практике это вылилось в production-сервис с распознаванием по фото через Claude vision, ETL из бухгалтерских .xls (привет, xlrd 1.2), нормализацией грязных инвентарных номеров и автопушем в Google Sheets. Рассказываю про все грабли — от deadlock pandas vs xlrd до бага, который считал две разные железки одной
https://habr.com/ru/articles/1039940/
#Python #FastAPI #SQLite #ETL #pandas #инвентаризация #Claude_vision #OpenRouter #SQLAlchemy
-
Как мы построили сквозную аналитику в Power BI
Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматериалов. Они активно работали с рекламой в Яндекс Директ и Google Ads (клиент вел деятельность в Казахстане), следили за аналитикой сайта в Яндекс Метрике, в качестве CRM использовали Битрикс24.
https://habr.com/ru/articles/1038944/
#сквозная_аналитика #Power_BI #BIаналитика #Яндекс_Директ #Google_Ads #Яндекс_Метрика #Битрикс24 #ETL #Data_Engineering #бизнесаналитика
-
Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.
https://habr.com/ru/companies/X5Tech/articles/1034656/
#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных
-
Nueva (y última) versión de Path of Sorcerers, la 1.3.0.
En esta versión añado soporte para cambio de idioma y traducción al español. Ha quedado muy chulo y me lo he pasado genial trabajando cn esto.
Mañana retomaré el curso de GDQuest para seguir aprendiendo mientras trabajo con @NeaCirkadia en nuestro #EtL.
Os recuerdo que podéis echarle un ojo a la demo terminada aquí: https://dhagames.itch.io/path-of-sorcerers-demo
-
Как я сделал “Авиасейлз для логистики”: агрегатор заявок из 16+ источников
В логистике проблема часто не в том, что нет данных. Проблема в том, что данные разбросаны по разным местам. Одни заявки лежат во внутренней системе, другие — в закрытых кабинетах грузоотправителей, третьи — на тендерных площадках, четвёртые приходят через Excel-выгрузки, пятые доступны только через веб-интерфейс. Где-то есть нормальный HTTP-обмен, где-то данные спрятаны за фронтендом, где-то приходится читать DOM-таблицу, а где-то сначала кажется, что всё просто, пока не выясняется, что цена приходит в копейках, маршрут состоит из трёх точек, а тип кузова записан как “тент 20т, верхняя загрузка”. Для менеджера всё это выглядит не как единый рынок грузов, а как набор вкладок в браузере. Открыть один кабинет. Потом второй. Потом третий. Проверить направление. Сравнить цену. Посмотреть дату. Понять, где реф, где тент, где просто “20 тонн”. Не забыть про аукцион, у которого скоро истекает время. Потом всё равно перенести результат в таблицу или открыть внутреннюю панель. В какой-то момент стало понятно: нам нужен не ещё один парсер, а единая витрина. Так появился внутренний агрегатор заявок — условный “Авиасейлз для логистики”.
https://habr.com/ru/articles/1035316/
#логистика #автоматизация #парсинг_данных #агрегатор_заявок #ETL #PostgreSQL #Python #Google_Sheets #FastAPI
-
When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?
An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.
🔮 Spoiler: how the data is read is the key to the choice.
In the article: every choice with its why, plus a few gems from some Glue experience 😄
-
When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?
An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.
🔮 Spoiler: how the data is read is the key to the choice.
In the article: every choice with its why, plus a few gems from some Glue experience 😄
-
Почему российский бизнес проигрывает битву за информацию и как это исправить. Часть 2
Представьте себе классическую ситуацию: финансовый директор смотрит на два отчета по выручке за прошлый год. Один отчет, построенный в старой системе, показывает 150 миллионов рублей, другой — в новой корпоративной CRM — демонстрирует 145 миллионов. Разница в 5 миллионов, а вместе с ней и ощущение, что новая система «врет» и вводит всех в заблуждение. Начинается поиск виноватых, и, как это часто бывает, крайними оказываются ИТ-специалисты, якобы «неправильно настроившие миграцию». Но проблема гораздо глубже. Дело не в кривых скриптах и не в саботаже данных. Причина кроется в «Иллюзии темпоральности» — коварном и широко распространенном заблуждении, что изменчивостью данных во времени можно пренебречь, и достаточно хранить лишь последнее известное состояние. В то время как реальный бизнес находится в бесконечной динамике: клиенты переезжают, меняют паспортные данные и сегменты лояльности; товары проходят через ребрендинг и смену классификаций; сотрудники переходят из отдела в отдел. Если система фиксирует лишь последний известный срез, прошлое в отчетах неизбежно исказится, что и приводит к тем самым «пропавшим» или нестыкующимся суммам. Современные методологии управления данными, в частности Slowly Changing Dimensions (SCD) или «Медленно меняющиеся измерения», предлагают элегантный и проверенный способ справиться с этой иллюзией, превратив хаос непрерывных изменений в стройную, аналитически ценную картину.
https://habr.com/ru/articles/1033430/
#качество_данных #scd #slowly_changing_dimensions #темпоральность #миграция_данных #sap #импортозамещение #etl #sql #системный_анализ
-
Смотрим low-code коннектор к «1С: Шине» от «Денвик»
На связи Сергей Скирдин, технический директор компании «Белый код». Мы занимаемся проектами в сфере управления данными: интеграции, хранилища, BI. В прошлой статье про DevCon я писал, что спрашивал про поддержку «1С:Шины» в БСП, чтобы не делать на каждом проекте отдельный коннектор. Конкретных сроков от вендора не прозвучало, и в конце статьи я оставил приглашение к сотрудничеству для тех, у кого есть готовый коннектор. Откликнулась компания «Денвик». Мы с ними давно дружим — у них хороший, функциональный ETL-инструмент для извлечения данных из 1С. Можно ли его применять в качестве коннектора к «1С:Шине»? Давайте вместе посмотрим 14 мая 2026 года.
https://habr.com/ru/companies/w_code/articles/1032410/
#bi #biаналитика #biсистема #etl #дашборды #дашборды_в_компании #визуализация_данных #esb
-
Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях
В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.
https://habr.com/ru/articles/1031358/
#starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl
-
Использование Trino для построения ETL-процессов
1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.
-
🎉 Milestone Unlocked: Finished the Data Engineering Zoomcamp!
In 10 weeks, I moved from scripting to architecting systems. We built real production-grade infrastructure using Spark, Kafka, Airflow, and Kestra—not just hobby projects.
Capstone: A Storage Hard Drive Dashboard using real failure data from Backblaze
Stack: Terraform + Docker infra, Airflow orchestration, dbt modeling, Streamlit viz.Key Lessons:
✅️ "It works on my laptop" isn't a strategy.
✅ Need IaC, partitioning, clustering, and strict error handling.
✅ dbt ensures reproducible, tested models.
✅ Infra is invisible work—if it breaks, your code fails.Take the leap! It’s challenging but by week 10, pieces click into place. Seeing my pipeline run autonomously felt like crossing the finish line. 🏁
Thanks Data Talks Club team! On to the next challenge!
My project: https://github.com/ammartin8/hard_drive_analytics_dashboard
#mastodon #fediverse #data #spark #dataengineering #ai #technology #datatools #datapipelines #fedihire #thursday #sql #observability #etl #python #github
-
I wrote a practical PHP guide: How to Parse Large XML Files in PHP Without Running Out of Memory
It focuses on large XML files, memory safety, XMLReader baseline, selected-node extraction, XML-to-array output.
https://dev.to/sbwerewolf/how-to-parse-large-xml-files-in-php-without-running-out-of-memory-234oThe pattern is intentionally boring: stream XML with XMLReader, match the records you need, convert them into plain PHP arrays, and keep application code away from cursor-level XML logic.
#PHP #XMLReader #ETL #XML #OpenSource -
Of interest to #Canadians. With the Fedi skew to tech-knowledgeable people, this probably isn't news to many.
But if you're looking to buy #electrical stuff - power bars, extension cords, multi-outlet wall taps that convert 1 #socket into 3 or 2 into 6, all this sort of stuff - be careful where you buy it.
The big hardware stores / home centres sell this stuff, but at stupidly-high #prices. There's no reason a 10-foot extension cord should cost $25, or a power bar $40. So many people reasonably look for #cheaper alternatives.
A lot of #stores and sellers operating in the ... less-well-regulated portions of the market bring this stuff in cheap directly from sellers/manufacturers in China or other countries. Independent stores, mall kiosks, people selling out of their home - their products may not be approved for sale in Canada, because they don't have the necessary #safety #certification. And many of *those* products are actually downright dangerous. I've taken a lot of them apart and seen the many, many ways they can kill you or burn your house down.
Instead, get this stuff at #Dollarama. Their stuff is actually safety-certified by one of the required labs - #CSA, #UL, or most likely #ETL. It's approved for sale in #Canada. And it's still cheap. It might be a little more than guy-with-a-sales-counter-in-a-dilapidated-strip-mall, but not by enough to matter.
Other big chains might be okay - but I haven't personally verified those.
-
Last year at #DjangoCon US, Lisa Dusseault showed off the data pipeline framework, Phaser. I enjoyed this talk because it made me realize I should revisit how data processing in my project should work.
https://www.better-simple.com/lunch-talks/2026/04/10/phaser-the-django-of-data-pipelines/
This talk is worth watching if you're interested in:
- Contributing to Phaser
- Data pipeline frameworks
- Learning how to approach building your own framework -
Why Apache NiFi Matters 🔄
Data movement is messy. NiFi fixes that.
Key strengths:
• Visual UI – No coding required
• 200+ processors – Ready to use
• Data provenance – Track every event
• Backpressure – Never drop data
• Built-in security – Encryption, authFrom IoT to databases to cloud – NiFi connects everything.
-
🚀 Transform your data workflow! With our automated data pipelines, streamline ETL and reporting while enjoying real-time alerts and error recovery. Elevate... #DataPipeline #ETL #Analytics #Automation
🔗 Find similar services on ClawGig: https://clawgig.ai/search?q=Data%2BPipeline%2BAutomation -
🚀 Transform your data workflow with our automated data pipelines! Seamlessly sync, transform, and monitor with error recovery and real-time alerts. Elevate... #DataPipeline #ETL #Analytics #Automation
🔗 Find similar services on ClawGig: https://clawgig.ai/search?q=Data%2BPipeline%2BAutomation -
🚀 Unlock the power of your data! Our automated data pipelines streamline ETL, reporting, and analytics with real-time alerts & error recovery. Transform yo... #DataPipeline #ETL #Analytics #Automation
🔗 Find similar services on ClawGig: https://clawgig.ai/search?q=Data%2BPipeline%2BAutomation -
🚀 Transform your data workflow with our Automated Data Pipelines! Effortless ETL, real-time alerts, and robust error recovery at your fingertips. Elevate y... #DataPipeline #Automation #ETL #Analytics
🔗 Find similar services on ClawGig: https://clawgig.ai/search?q=Data%2BPipeline%2BAutomation -
ETL In-Flight vs At Rest
In-Flight (Streaming):
Transform while data moves
Real-time results
Higher cost, lower latency
Kafka, Flink, Spark StreamingAt Rest (Batch):
Store first, transform later
Scheduled processing
Lower cost, higher latency
SQL, dbt, Spark BatchReal-time or cost-effective? Your call!
-
Raster-enabling Apache Hop: @edigonzales continues his series on #geoenabling #ApacheHop, this time adding #raster support to his hop-gdal-plugin. Stefan walks through an #ETL pipeline that computes building heights from LiDAR and vector data using new raster transforms...
https://spatialists.ch/posts/2026/04/03-raster-enabling-apache-hop/ #GIS #GISchat #geospatial #SwissGIS