#витрина_данных — Public Fediverse posts

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благодаря новым технологиям и инструментам. Мне поручили пересобрать витрину в ходе миграции в наше новое хранилище данных. Итак, в этой статье мы будем: — строить Iceberg-таблицы SCD-2 с помощью Trino, SQL и Python; — попутно освоим прекрасные функции merge, MD5 и другие полезные инструменты; — напишем свой собственный оператор для Airflow для автоматизации ETL-процесса.

https://habr.com/ru/companies/X5Tech/articles/1034656/

#scd_type_2 #trino #iceberg #airflow #lakehouse #etl #slowly_changing_dimensions #data_mesh #витрина_данных #хранилище_данных

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

ТОП-5 сервисов по налоговому мониторингу: обзор решений для бизнеса

Сегодня уже можно говорить о том, что налоговый мониторинг перестал быть экспериментальной моделью. По данным ФНС России, с 1 января 2026 года в этом режиме уже работают 870 компаний из более чем 20 отраслей экономики. Это подтверждает, что мониторинг становится устойчивым форматом взаимодействия с налоговой службой для крупного бизнеса. А с учетом текущего вектора цифровой трансформации налогового администрирования можно предположить, что в ближайшее время количество участников режима будет только увеличиваться. В статье «Налоговый мониторинг: режим «постоянной готовности»» я подробно разбирал саму модель налогового мониторинга, какие требования предъявляются к компании и как строится взаимодействие с ФНС. Поскольку налоговый мониторинг - это постоянное раскрытие данных, передача первичных документов и функционирование системы внутреннего контроля, для многих компаний, рассматривающих переход на этот режим, ключевым становится выбор подхода к организации этого процесса. А от того, насколько удобно выстроен процесс, зависит и то станет ли мониторинг управляемым инструментом или дополнительной нагрузкой. Поэтому чтобы показать, чем отличаются подходы на практике, я решил пройтись по наиболее распространённым решениям, которые уже сейчас используют компании для работы в режиме налогового мониторинга. В этой статье я рассмотрю пять наиболее востребованных платформ и сопоставлю их по прикладным параметрам: удобству ежедневной работы, полноте раскрытия данных и первичных документов, поддержке системы внутреннего контроля (СВК), а также устойчивости и масштабируемости решения.

https://habr.com/ru/articles/1006520/

#налоговый_мониторинг #АИС_Налог3 #ERP #витрина_данных #корпоративные_системы #автоматизация_налогов #налоговое_администрирование #compliance #фнс

ТОП-5 сервисов по налоговому мониторингу: обзор решений для бизнеса

Сегодня уже можно говорить о том, что налоговый мониторинг перестал быть экспериментальной моделью. По данным ФНС России, с 1 января 2026 года в этом режиме уже работают 870 компаний из более чем 20 отраслей экономики. Это подтверждает, что мониторинг становится устойчивым форматом взаимодействия с налоговой службой для крупного бизнеса. А с учетом текущего вектора цифровой трансформации налогового администрирования можно предположить, что в ближайшее время количество участников режима будет только увеличиваться. В статье «Налоговый мониторинг: режим «постоянной готовности»» я подробно разбирал саму модель налогового мониторинга, какие требования предъявляются к компании и как строится взаимодействие с ФНС. Поскольку налоговый мониторинг - это постоянное раскрытие данных, передача первичных документов и функционирование системы внутреннего контроля, для многих компаний, рассматривающих переход на этот режим, ключевым становится выбор подхода к организации этого процесса. А от того, насколько удобно выстроен процесс, зависит и то станет ли мониторинг управляемым инструментом или дополнительной нагрузкой. Поэтому чтобы показать, чем отличаются подходы на практике, я решил пройтись по наиболее распространённым решениям, которые уже сейчас используют компании для работы в режиме налогового мониторинга. В этой статье я рассмотрю пять наиболее востребованных платформ и сопоставлю их по прикладным параметрам: удобству ежедневной работы, полноте раскрытия данных и первичных документов, поддержке системы внутреннего контроля (СВК), а также устойчивости и масштабируемости решения.

https://habr.com/ru/articles/1006520/

#налоговый_мониторинг #АИС_Налог3 #ERP #витрина_данных #корпоративные_системы #автоматизация_налогов #налоговое_администрирование #compliance #фнс

ТОП-5 сервисов по налоговому мониторингу: обзор решений для бизнеса

Сегодня уже можно говорить о том, что налоговый мониторинг перестал быть экспериментальной моделью. По данным ФНС России, с 1 января 2026 года в этом режиме уже работают 870 компаний из более чем 20 отраслей экономики. Это подтверждает, что мониторинг становится устойчивым форматом взаимодействия с налоговой службой для крупного бизнеса. А с учетом текущего вектора цифровой трансформации налогового администрирования можно предположить, что в ближайшее время количество участников режима будет только увеличиваться. В статье «Налоговый мониторинг: режим «постоянной готовности»» я подробно разбирал саму модель налогового мониторинга, какие требования предъявляются к компании и как строится взаимодействие с ФНС. Поскольку налоговый мониторинг - это постоянное раскрытие данных, передача первичных документов и функционирование системы внутреннего контроля, для многих компаний, рассматривающих переход на этот режим, ключевым становится выбор подхода к организации этого процесса. А от того, насколько удобно выстроен процесс, зависит и то станет ли мониторинг управляемым инструментом или дополнительной нагрузкой. Поэтому чтобы показать, чем отличаются подходы на практике, я решил пройтись по наиболее распространённым решениям, которые уже сейчас используют компании для работы в режиме налогового мониторинга. В этой статье я рассмотрю пять наиболее востребованных платформ и сопоставлю их по прикладным параметрам: удобству ежедневной работы, полноте раскрытия данных и первичных документов, поддержке системы внутреннего контроля (СВК), а также устойчивости и масштабируемости решения.

https://habr.com/ru/articles/1006520/

#налоговый_мониторинг #АИС_Налог3 #ERP #витрина_данных #корпоративные_системы #автоматизация_налогов #налоговое_администрирование #compliance #фнс

ТОП-5 сервисов по налоговому мониторингу: обзор решений для бизнеса

Сегодня уже можно говорить о том, что налоговый мониторинг перестал быть экспериментальной моделью. По данным ФНС России, с 1 января 2026 года в этом режиме уже работают 870 компаний из более чем 20 отраслей экономики. Это подтверждает, что мониторинг становится устойчивым форматом взаимодействия с налоговой службой для крупного бизнеса. А с учетом текущего вектора цифровой трансформации налогового администрирования можно предположить, что в ближайшее время количество участников режима будет только увеличиваться. В статье «Налоговый мониторинг: режим «постоянной готовности»» я подробно разбирал саму модель налогового мониторинга, какие требования предъявляются к компании и как строится взаимодействие с ФНС. Поскольку налоговый мониторинг - это постоянное раскрытие данных, передача первичных документов и функционирование системы внутреннего контроля, для многих компаний, рассматривающих переход на этот режим, ключевым становится выбор подхода к организации этого процесса. А от того, насколько удобно выстроен процесс, зависит и то станет ли мониторинг управляемым инструментом или дополнительной нагрузкой. Поэтому чтобы показать, чем отличаются подходы на практике, я решил пройтись по наиболее распространённым решениям, которые уже сейчас используют компании для работы в режиме налогового мониторинга. В этой статье я рассмотрю пять наиболее востребованных платформ и сопоставлю их по прикладным параметрам: удобству ежедневной работы, полноте раскрытия данных и первичных документов, поддержке системы внутреннего контроля (СВК), а также устойчивости и масштабируемости решения.

https://habr.com/ru/articles/1006520/

#налоговый_мониторинг #АИС_Налог3 #ERP #витрина_данных #корпоративные_системы #автоматизация_налогов #налоговое_администрирование #compliance #фнс

[Перевод] Как построить геопространственный Lakehouse с помощью открытого ПО и Databricks

Геопространственные данные быстро перестают быть «слоем на карте», когда их нужно свести с другими источниками, регулярно обновлять, масштабировать запросы вроде «точка в полигоне» и отдавать результат в BI или GIS без ручной сборки артефактов. В статье разбирается практичный способ собрать геопространственный lakehouse на Databricks и открытых инструментах поверх Spark: как приземлять разные форматы в Delta, где чинить системы координат и некорректные геометрии, чем ускорять тяжёлые геоджойны и как организовать слой представления под разные потребители — от Power BI до облачных ГИС. Перейти к статье

https://habr.com/ru/companies/otus/articles/976752/

#геопространственная_аналитика #геоданные #векторные_данные #lakehouse #витрина_данных #качество_геоданных #системы_координат

[Перевод] Как построить геопространственный Lakehouse с помощью открытого ПО и Databricks

Геопространственные данные быстро перестают быть «слоем на карте», когда их нужно свести с другими источниками, регулярно обновлять, масштабировать запросы вроде «точка в полигоне» и отдавать результат в BI или GIS без ручной сборки артефактов. В статье разбирается практичный способ собрать геопространственный lakehouse на Databricks и открытых инструментах поверх Spark: как приземлять разные форматы в Delta, где чинить системы координат и некорректные геометрии, чем ускорять тяжёлые геоджойны и как организовать слой представления под разные потребители — от Power BI до облачных ГИС. Перейти к статье

https://habr.com/ru/companies/otus/articles/976752/

#геопространственная_аналитика #геоданные #векторные_данные #lakehouse #витрина_данных #качество_геоданных #системы_координат

[Перевод] Как построить геопространственный Lakehouse с помощью открытого ПО и Databricks

Геопространственные данные быстро перестают быть «слоем на карте», когда их нужно свести с другими источниками, регулярно обновлять, масштабировать запросы вроде «точка в полигоне» и отдавать результат в BI или GIS без ручной сборки артефактов. В статье разбирается практичный способ собрать геопространственный lakehouse на Databricks и открытых инструментах поверх Spark: как приземлять разные форматы в Delta, где чинить системы координат и некорректные геометрии, чем ускорять тяжёлые геоджойны и как организовать слой представления под разные потребители — от Power BI до облачных ГИС. Перейти к статье

https://habr.com/ru/companies/otus/articles/976752/

#геопространственная_аналитика #геоданные #векторные_данные #lakehouse #витрина_данных #качество_геоданных #системы_координат

[Перевод] Как построить геопространственный Lakehouse с помощью открытого ПО и Databricks

Геопространственные данные быстро перестают быть «слоем на карте», когда их нужно свести с другими источниками, регулярно обновлять, масштабировать запросы вроде «точка в полигоне» и отдавать результат в BI или GIS без ручной сборки артефактов. В статье разбирается практичный способ собрать геопространственный lakehouse на Databricks и открытых инструментах поверх Spark: как приземлять разные форматы в Delta, где чинить системы координат и некорректные геометрии, чем ускорять тяжёлые геоджойны и как организовать слой представления под разные потребители — от Power BI до облачных ГИС. Перейти к статье

https://habr.com/ru/companies/otus/articles/976752/

#геопространственная_аналитика #геоданные #векторные_данные #lakehouse #витрина_данных #качество_геоданных #системы_координат

Агрегированная витрина для дэшборда

Кажется, это не особо сложная задача - построить витрину для дэшборда, однако, я хочу отметить одну важную особенность при построении агрегированной витрины.

https://habr.com/ru/articles/915056/

#построение_агрегированной_витрины #BI #дэшборд #витрина_данных #sql

Агрегированная витрина для дэшборда

Кажется, это не особо сложная задача - построить витрину для дэшборда, однако, я хочу отметить одну важную особенность при построении агрегированной витрины.

https://habr.com/ru/articles/915056/

#построение_агрегированной_витрины #BI #дэшборд #витрина_данных #sql

Агрегированная витрина для дэшборда

Кажется, это не особо сложная задача - построить витрину для дэшборда, однако, я хочу отметить одну важную особенность при построении агрегированной витрины.

https://habr.com/ru/articles/915056/

#построение_агрегированной_витрины #BI #дэшборд #витрина_данных #sql

Агрегированная витрина для дэшборда

Кажется, это не особо сложная задача - построить витрину для дэшборда, однако, я хочу отметить одну важную особенность при построении агрегированной витрины.

https://habr.com/ru/articles/915056/

#построение_агрегированной_витрины #BI #дэшборд #витрина_данных #sql

Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML

Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.

https://habr.com/ru/companies/rshb/articles/904072/

#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy

Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML

Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.

https://habr.com/ru/companies/rshb/articles/904072/

#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy

Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML

Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.

https://habr.com/ru/companies/rshb/articles/904072/

#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy

Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML

Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.

https://habr.com/ru/companies/rshb/articles/904072/

#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy

Миф о чистых данных: почему ваш аналитик похож на сапёра

Миф о чистых данных: почему ваш аналитик похож на сапёра. Как бороться с самым частым убеждением при работе с данными.

https://habr.com/ru/articles/862772/

#данные #очистка_данных #витрина_данных #визуализация_данных #ошибки_в_бизнесе #подготовка_данных #бизнесаналитика #целостность_данных #обработка_данных #data_quality

Миф о чистых данных: почему ваш аналитик похож на сапёра

Миф о чистых данных: почему ваш аналитик похож на сапёра. Как бороться с самым частым убеждением при работе с данными.

https://habr.com/ru/articles/862772/

#данные #очистка_данных #витрина_данных #визуализация_данных #ошибки_в_бизнесе #подготовка_данных #бизнесаналитика #целостность_данных #обработка_данных #data_quality

Миф о чистых данных: почему ваш аналитик похож на сапёра

Миф о чистых данных: почему ваш аналитик похож на сапёра. Как бороться с самым частым убеждением при работе с данными.

https://habr.com/ru/articles/862772/

#данные #очистка_данных #витрина_данных #визуализация_данных #ошибки_в_бизнесе #подготовка_данных #бизнесаналитика #целостность_данных #обработка_данных #data_quality

Миф о чистых данных: почему ваш аналитик похож на сапёра

Миф о чистых данных: почему ваш аналитик похож на сапёра. Как бороться с самым частым убеждением при работе с данными.

https://habr.com/ru/articles/862772/

#данные #очистка_данных #витрина_данных #визуализация_данных #ошибки_в_бизнесе #подготовка_данных #бизнесаналитика #целостность_данных #обработка_данных #data_quality

Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB

Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!

https://habr.com/ru/companies/T1Holding/articles/834540/

#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех

Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB

Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!

https://habr.com/ru/companies/T1Holding/articles/834540/

#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех

Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB

Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!

https://habr.com/ru/companies/T1Holding/articles/834540/

#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех