#etl — Public Fediverse posts

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/

Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/

Ingénierie des données : *construire une cathédrale*. #DataEngineering #DataEngineer #Expertise #Tech #Luxe #ETL #Sécurité #RGPD ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-expertise-share-7478710263576453122-KpIB/

Ingénierie des données : *construire une cathédrale*. #DataEngineering #DataEngineer #Expertise #Tech #Luxe #ETL #Sécurité #RGPD ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-expertise-share-7478710263576453122-KpIB/

Каталог данных: что нужно знать, прежде чем начинать внедрение

Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и использование информации. В качестве одного из компонентов подобных модернизированных реализаций нередко рассматривают дата-каталог, который помогает навести порядок в метаданных и сделать данные более доступными. Вместе с тем хоть такой подход и имеет право на жизнь, но практика показывает, что наибольший потенциал каталоги данных раскрывают, когда их внедрению предшествует выстраивание базовых процессов управления: ответственности за данные, контроля качества и управления изменениями. Меня зовут Сергей Петриченко. Я продуктовый менеджер VK Data Platform . В этой статье разберем, почему каталог — это не первый шаг к порядку, а скорее мультипликатор уже существующей зрелости и что необходимо сделать, чтобы его внедрение принесло реальную пользу.

https://habr.com/ru/companies/vktech/articles/1054554/

#data_catalog #data_governance #метаданные #качество_данных #lineage #data_contracts #etl #sla #управление_данными #vk_data_platform

AgTech без хайпа: как мы строим систему, которая доводит агронома от симптома на поле до решения

Автор: Олег Линьков, Webformula ( webformula-agro.ru ) Агросектор — одна из самых недооценённых ниш для прикладного AgTech. Здесь нет хайпа вокруг LLM на каждом шагу, зато есть жёсткие ограничения, которые делают задачу интересной с инженерной точки зрения: сезонность с точностью до недель, географическая распределённость, аудитория с низкой толерантностью к нерелевантному шуму и предметная область, где ошибка в данных стоит реального урожая. Я двенадцать лет занимаюсь digital в агро и последние годы — построением систем, которые работают на стыке предметной агрономии и продуктовой инженерии. В этой статье — без маркетинга, только архитектура и продуктовая логика — разберу, как устроены три вещи: автоматизация сезонности в рекламных кампаниях, система поддержки решений (DSS) как алгоритмическое дерево, и триггерные коммуникации на базе погодного API. И почему в этой нише источник данных важнее модели.

https://habr.com/ru/articles/1054028/

#agtech #dss #etl #rule_engine #Headless_API

Как я устал писать парсер под каждый прайс и сделал из этого библиотеку

У нас на проекте десятки прайсингов на топливо: один вендор шлёт CSV, другой Excel, третий JSON на вебхук. Данные одни и те же, но колонка цены везде называется по-своему, даты в трёх форматах, единицы то литры, то галлоны, а половина нужных полей просто отсутствует. И под каждый источник у меня жил отдельный парсер на сотню строк if-else. Сначала их было три, потом восемь, потом я перестал считать. А по-настоящему добило другое: эти парсеры ломались молча. Вендор тихо переименовывал колонку. В третий раз за месяц копируя один и тот же парсер, я понял, что так нельзя, и вынес логику маппинга из кода в данные. Из этого выросла библиотека fidelis: ты описываешь данные один раз как Pydantic-модель, а соответствие под каждый кривой источник один раз пишет LLM — в виде читаемой YAML-спеки, которую ты ревьюишь и коммитишь. Дальше LLM не нужен: чистый детерминированный Python, валидация каждой строки и отлов изменений схемы ещё в CI. Рассказываю, как дошёл до жизни такой и как это устроено.

https://habr.com/ru/articles/1053956/

#python #парсинг_данных #ETL #pydantic #обработка_csv #интеграция_данных #llm #конвейер_данных #валидация_данных #open_source

it is crazy how much info is packed into daily wsj is another example but how to access it all for a more holistic and granular view #etl jobs

it is crazy how much info is packed into daily wsj is another example but how to access it all for a more holistic and granular view #etl jobs

The other day I created a solution for a client of mine to find out which of their #database stored views got used actively by an #ETL middleware application. It involved many steps.

1. Figure out where the middleware stores its processing configurations.
2. Figure out their structure.
3. Translate that structure into something I can use.
4. Filter out the database object names.
5. Make those available to the DB.
6. Find matches in the DB.
7. Find the remainder.

Fun stuff.

The other day I created a solution for a client of mine to find out which of their #database stored views got used actively by an #ETL middleware application. It involved many steps.

1. Figure out where the middleware stores its processing configurations.
2. Figure out their structure.
3. Translate that structure into something I can use.
4. Filter out the database object names.
5. Make those available to the DB.
6. Find matches in the DB.
7. Find the remainder.

Fun stuff.

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.

https://habr.com/ru/articles/1051760/

#postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops

Оркестрация рабочих процессов: полное руководство

Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...

#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL

Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo

Оркестрация рабочих процессов: полное руководство

Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...

#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL

Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo

Оркестрация рабочих процессов: полное руководство

Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...

#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL

Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo

Оркестрация рабочих процессов: полное руководство

Оркестрация рабочих процессов (workflow orchestration) — это практика координации множества автоматизированных задач, сервисов и систем для обеспечения их согласованного...

#DST #DSTGlobal #ДСТ #ДСТГлобал #Оркестрация #GitHub #Kubernetes #ApacheAirflow #AWSStepFunctions #Temporal #Camunda #CICD #DevOps #Автоматизация #AIагенты #RBAC #SOAR #Обработкаданных #ETL

Источник: https://dstglobal.ru/club/1242-orkestracija-rabochih-processov-polnoe-rukovodstvo

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.

https://habr.com/ru/companies/avito/articles/1043532/

#trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.

https://habr.com/ru/companies/avito/articles/1043532/

#trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N начислений и M списаний для бонусов. Заодно покажу подвох, без которого SQL быстро превращался в тыкву. Статья будет полезна аналитикам и data-инженерам уровней мидл+, которые работают с финансовыми данными в Trino, Presto и Spark SQL.

https://habr.com/ru/companies/avito/articles/1043532/

#trino #sql #fifo #мсфо #аналитика_данных #data_quality #etl #финансы #управленческий_учет #бонусы

Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели

Сквозная аналитика для B2C: связать клик в рекламе с оплатой и посчитать ROMI. Ядро MVP (реклама + веб + биллинг в Google Sheets, дашборд в BI) собирается за две недели с Claude Code. А честные цифры - атрибуция, когорты, грабли API - занимают месяцы и требуют головы, не LLM.

https://habr.com/ru/articles/1047394/

#сквознаяаналитика #romi #атрибуция #claudecode #etl #googlesheets

Exploring Tools in #ArcGIS #Data Pipelines https://tinyurl.com/3tvrx8e8

#ETL #DataMgmt #GIS #esri #GISchat #geospatial @esri @esrifederalgovt @esrislgov @arcgisonline @arcgisxprise @esritraining

Exploring Tools in #ArcGIS #Data Pipelines https://tinyurl.com/3tvrx8e8

#ETL #DataMgmt #GIS #esri #GISchat #geospatial @esri @esrifederalgovt @esrislgov @arcgisonline @arcgisxprise @esritraining

Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики

Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы проверки, стремясь получить «единую версию правды». Однако сегодня этого уже недостаточно. В условиях, когда скорость реакции определяет успех, на первый план выходит новый критерий — актуальность. Способность данных отражать реальное положение дел в момент принятия решения становится решающим фактором. При этом классические архитектуры, основанные на ночных загрузках в DWH, создают временной лаг, который превращает «правду» во «вчерашнюю». Привет, Хабр. Меня зовут Александр Шалудин. Я Presale-архитектор Data Services VK Tech. В этой статье я разберу, к чему может приводить работа с неактуальной информацией и как выстроить архитектуру, которая позволит устранить этот разрыв. Из-за высокой конкуренции и сопутствующих вызовов многие компании стремятся стать Data-Driven, то есть принимать решения, основываясь на данных, чтобы сохранять конкурентоспособность, быстро реагировать на тренды и взвешенно оценивать бизнес-процессы. Однако точность этих решений напрямую зависит не только от качества информации, но и от ее актуальности и доступности в нужный момент. Ключевая угроза здесь — задержка данных. Это не просто неудобство, а прямые скрытые расходы. Компания может иметь выстроенные процессы контроля качества и полные справочники, но, если ответ от аналитической системы нужен сегодня, а данные поступят только завтра или через неделю, их ценность для принятия оперативных решений стремится к нулю.

https://habr.com/ru/companies/vktech/articles/1044946/

#tarantool_column_store #htap #data_fabric #oltp #olap #realtime_analytics #tarantool #etl #mdm #vk_tech

As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.

Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/

#datascience #python #rust

As a big fan of #Polars when doing #ETL pipelines, and processing #data, I am happy to see them having their distributed engine available for #Kubernetes deployments.

Read the blog post here:
https://pola.rs/posts/polars-distributed-available-on-kubernetes/

#datascience #python #rust

#ApacheHop 2.18 has been released couple days ago 😃

#ETL

https://hop.apache.org/download/

#ApacheHop 2.18 has been released couple days ago 😃

#ETL

https://hop.apache.org/download/

TROCCOの転送先カスタムコネクタを利用して、Zendeskのチケットにフォロワーを自動追加する
https://qiita.com/kimura34/items/29ad3abf97c8fc182493?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #API #zendesk #ETL #カスタムコネクタ #trocco

AI vs. FME / geospatial tools?: Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more...
https://spatialists.ch/posts/2026/05/28-ai-vs-fme-geospatial-tools/ #GIS #GISchat #geospatial #SwissGIS

AI vs. FME / geospatial tools?: Safe Software and the #FME community discusses whether #AI #agents are replacing tools like #FME for geospatial #ETL work. The community thread and blog post are worth reading for what they imply about the future of #low-code geospatial tools more...
https://spatialists.ch/posts/2026/05/28-ai-vs-fme-geospatial-tools/ #GIS #GISchat #geospatial #SwissGIS

#ArcGIS #Data Pipelines is Now Available in #ArcGISEnterprise https://tinyurl.com/yfcztkmc

#DataMgmt #ETL #integration #automation #GIS #esri #GISchat #geospatial @esri @arcgisxprise @esrifederalgovt @esrislgov @esritraining @urisa

#ArcGIS #Data Pipelines is Now Available in #ArcGISEnterprise https://tinyurl.com/yfcztkmc

#DataMgmt #ETL #integration #automation #GIS #esri #GISchat #geospatial @esri @arcgisxprise @esrifederalgovt @esrislgov @esritraining @urisa

Как за один вечер я написал сервис инвентаризации оргтехники для филиальной сети из 16 локаций

Знакомая работает в IT-департаменте организации с 16 филиалами и ~5000 единиц оргтехники на балансе. Попросила: “Сделай сервис, чтобы загрузить фотку шильдика, и он сказал, у кого эта железка стоит”. Звучит просто. На практике это вылилось в production-сервис с распознаванием по фото через Claude vision, ETL из бухгалтерских .xls (привет, xlrd 1.2), нормализацией грязных инвентарных номеров и автопушем в Google Sheets. Рассказываю про все грабли — от deadlock pandas vs xlrd до бага, который считал две разные железки одной

https://habr.com/ru/articles/1039940/

#Python #FastAPI #SQLite #ETL #pandas #инвентаризация #Claude_vision #OpenRouter #SQLAlchemy

Как мы построили сквозную аналитику в Power BI

Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматериалов. Они активно работали с рекламой в Яндекс Директ и Google Ads (клиент вел деятельность в Казахстане), следили за аналитикой сайта в Яндекс Метрике, в качестве CRM использовали Битрикс24.

https://habr.com/ru/articles/1038944/

#сквозная_аналитика #Power_BI #BIаналитика #Яндекс_Директ #Google_Ads #Яндекс_Метрика #Битрикс24 #ETL #Data_Engineering #бизнесаналитика

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Nueva (y última) versión de Path of Sorcerers, la 1.3.0.

En esta versión añado soporte para cambio de idioma y traducción al español. Ha quedado muy chulo y me lo he pasado genial trabajando cn esto.

Mañana retomaré el curso de GDQuest para seguir aprendiendo mientras trabajo con @NeaCirkadia en nuestro #EtL.

Os recuerdo que podéis echarle un ojo a la demo terminada aquí: https://dhagames.itch.io/path-of-sorcerers-demo

#godot #indieGameDev #pathOfSorcerers

Как я сделал “Авиасейлз для логистики”: агрегатор заявок из 16+ источников

В логистике проблема часто не в том, что нет данных. Проблема в том, что данные разбросаны по разным местам. Одни заявки лежат во внутренней системе, другие — в закрытых кабинетах грузоотправителей, третьи — на тендерных площадках, четвёртые приходят через Excel-выгрузки, пятые доступны только через веб-интерфейс. Где-то есть нормальный HTTP-обмен, где-то данные спрятаны за фронтендом, где-то приходится читать DOM-таблицу, а где-то сначала кажется, что всё просто, пока не выясняется, что цена приходит в копейках, маршрут состоит из трёх точек, а тип кузова записан как “тент 20т, верхняя загрузка”. Для менеджера всё это выглядит не как единый рынок грузов, а как набор вкладок в браузере. Открыть один кабинет. Потом второй. Потом третий. Проверить направление. Сравнить цену. Посмотреть дату. Понять, где реф, где тент, где просто “20 тонн”. Не забыть про аукцион, у которого скоро истекает время. Потом всё равно перенести результат в таблицу или открыть внутреннюю панель. В какой-то момент стало понятно: нам нужен не ещё один парсер, а единая витрина. Так появился внутренний агрегатор заявок — условный “Авиасейлз для логистики”.

https://habr.com/ru/articles/1035316/

#логистика #автоматизация #парсинг_данных #агрегатор_заявок #ETL #PostgreSQL #Python #Google_Sheets #FastAPI

When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?

An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.

🔮 Spoiler: how the data is read is the key to the choice.

In the article: every choice with its why, plus a few gems from some Glue experience 😄

https://alessandra.bilardi.net/diary/articles/2026-05/when-does-iceberg-beat-parquet-projection-on-aws-glue-and-when-doesn-t.en

#DiaryOfALazyDeveloper

When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?

An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.

🔮 Spoiler: how the data is read is the key to the choice.

In the article: every choice with its why, plus a few gems from some Glue experience 😄

https://alessandra.bilardi.net/diary/articles/2026-05/when-does-iceberg-beat-parquet-projection-on-aws-glue-and-when-doesn-t.en

#DiaryOfALazyDeveloper

https://www.europesays.com/britain/32854/ Extension Cord Pack Market in the United Kingdom | Report – IndexBox #ConnectorDesign(rightAngle #ConsumerGoodsMarketReport #ETL) #ExtendingOutletReachInRooms #ExtensionCordPack #forecast #lighted) #MarketAnalysis #OutdoorLighting/decorations #PoweringTools/equipment #SafetyCertifications(UL #UK #UnitedKingdom #WeatherResistantJacketing #WireGauge(AWG)Standards #WorkshopAndGarageSetups

Почему российский бизнес проигрывает битву за информацию и как это исправить. Часть 2

Представьте себе классическую ситуацию: финансовый директор смотрит на два отчета по выручке за прошлый год. Один отчет, построенный в старой системе, показывает 150 миллионов рублей, другой — в новой корпоративной CRM — демонстрирует 145 миллионов. Разница в 5 миллионов, а вместе с ней и ощущение, что новая система «врет» и вводит всех в заблуждение. Начинается поиск виноватых, и, как это часто бывает, крайними оказываются ИТ-специалисты, якобы «неправильно настроившие миграцию». Но проблема гораздо глубже. Дело не в кривых скриптах и не в саботаже данных. Причина кроется в «Иллюзии темпоральности» — коварном и широко распространенном заблуждении, что изменчивостью данных во времени можно пренебречь, и достаточно хранить лишь последнее известное состояние. В то время как реальный бизнес находится в бесконечной динамике: клиенты переезжают, меняют паспортные данные и сегменты лояльности; товары проходят через ребрендинг и смену классификаций; сотрудники переходят из отдела в отдел. Если система фиксирует лишь последний известный срез, прошлое в отчетах неизбежно исказится, что и приводит к тем самым «пропавшим» или нестыкующимся суммам. Современные методологии управления данными, в частности Slowly Changing Dimensions (SCD) или «Медленно меняющиеся измерения», предлагают элегантный и проверенный способ справиться с этой иллюзией, превратив хаос непрерывных изменений в стройную, аналитически ценную картину.

https://habr.com/ru/articles/1033430/

#качество_данных #scd #slowly_changing_dimensions #темпоральность #миграция_данных #sap #импортозамещение #etl #sql #системный_анализ

Extension Cord Pack Market in Germany | Report – IndexBox

Germany Extension Cord Pack Market 2026 Analysis and Forecast …
#Germany #DE #Europe #EU #Europa #Connectordesign(right-angle #consumergoodsmarketreport #ETL) #Extendingoutletreachinrooms #extensioncordpack #forecast #lighted) #marketanalysis #Outdoorlighting/decorations #Poweringtools/equipment #Safetycertifications(UL #Weather-resistantjacketing #Wiregauge(AWG)standards #Workshopandgaragesetups
https://www.europesays.com/germany/11676/