#дата_инжиниринг — Public Fediverse posts

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Как объединить данные Яндекс Метрики и CRM: от загрузки данных до дашборда в DataLens

Всем привет! На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика. В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.

https://habr.com/ru/articles/1027178/

#datalens #bi_аналитика #визуализация_данных #сквозная_аналитика #маркетинговая_аналитика #data_analytics #аналитика_данных #витрина_данных #дата_инжиниринг #yandex_datalens

Data Mesh, Data Fabric, Lakehouse: разбираем модные термины

Data Mesh, Data Fabric, Lakehouse: разбираем модные термины Data Mesh, Fabric, Lakehouse – все говорят, но никто толком не объясняет, чем они отличаются и можно ли их использовать вместе . Разобралась и делюсь структурированно и без воды. ➕ Сравнительная таблица и чек-лист: что выбрать под свою боль. ✔️Сохраняйте, чтобы больше никогда не путаться.

https://habr.com/ru/articles/1005062/

#data_mesh #data_factory #data_fabric #data_lake #архитектура_данных #управление_данными #дата_инжиниринг #хранилище_данных #аналитика_данных #lakehouse

Инфраструктура для Data-Engineer BI-tools

BI (Business Intelligence) – это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных. Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах. В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

https://habr.com/ru/articles/856922/

#bi #bitools #biинструменты #дата_инженер #дата_инжиниринг #data_engineer #analytics #аналитика_продукта #аналитика_компании #bigdata

Инфраструктура для Data-Engineer BI-tools

BI (Business Intelligence) – это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных. Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах. В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

https://habr.com/ru/articles/856922/

#bi #bitools #biинструменты #дата_инженер #дата_инжиниринг #data_engineer #analytics #аналитика_продукта #аналитика_компании #bigdata

Инфраструктура для Data-Engineer BI-tools

BI (Business Intelligence) – это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных. Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах. В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

https://habr.com/ru/articles/856922/

#bi #bitools #biинструменты #дата_инженер #дата_инжиниринг #data_engineer #analytics #аналитика_продукта #аналитика_компании #bigdata

Инфраструктура для Data-Engineer BI-tools

BI (Business Intelligence) – это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных. Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах. В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

https://habr.com/ru/articles/856922/

#bi #bitools #biинструменты #дата_инженер #дата_инжиниринг #data_engineer #analytics #аналитика_продукта #аналитика_компании #bigdata

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Инфраструктура для Data-Engineer DBT

dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python. При помощи dbt можно создавать разные " слои " данных или выделить dbt только под один слой, к примеру dm . При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake.

https://habr.com/ru/articles/854990/

#dbt #что_такое_dbt #кратко_о_dbt #как_пользоваться_dbt #dbt_+_postgresql #дорожная_карта_dbt #дата_инженер #дата_инжиниринг #data_engineer #data_engineering

Инфраструктура для Data-Engineer DBT

dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python. При помощи dbt можно создавать разные " слои " данных или выделить dbt только под один слой, к примеру dm . При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake.

https://habr.com/ru/articles/854990/

#dbt #что_такое_dbt #кратко_о_dbt #как_пользоваться_dbt #dbt_+_postgresql #дорожная_карта_dbt #дата_инженер #дата_инжиниринг #data_engineer #data_engineering

Инфраструктура для Data-Engineer DBT

dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python. При помощи dbt можно создавать разные " слои " данных или выделить dbt только под один слой, к примеру dm . При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake.

https://habr.com/ru/articles/854990/

#dbt #что_такое_dbt #кратко_о_dbt #как_пользоваться_dbt #dbt_+_postgresql #дорожная_карта_dbt #дата_инженер #дата_инжиниринг #data_engineer #data_engineering

Инфраструктура для Data-Engineer DBT

dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python. При помощи dbt можно создавать разные " слои " данных или выделить dbt только под один слой, к примеру dm . При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake.

https://habr.com/ru/articles/854990/

#dbt #что_такое_dbt #кратко_о_dbt #как_пользоваться_dbt #dbt_+_postgresql #дорожная_карта_dbt #дата_инженер #дата_инжиниринг #data_engineer #data_engineering

Что такое Big Data | Биг Дата?

Big Data – термин, который вы можете часто встретить на просторах интернета. Вы можете найти множество статей, докладов и прочих материалов по этому термину, но давайте попробуем разобраться в нём, потому что он не так страшен, как о нём говорят.

https://habr.com/ru/articles/845536/

#что_такое_big_data #что_такое_биг_дата #информация_для_junior #дата_инженер #дата_инжиниринг #аналитика #аналитика_данных #аналитика_больших_данных #data_engineer #data_engineering

Современные каталоги данных: эволюция и применение больших языковых моделей

Каталоги данных стали неотъемлемой частью современной архитектуры данных. Они играют ключевую роль в управлении метаданными, обеспечивая прозрачность, контроль и повышение эффективности работы с данными. В последние годы эта область активно развивается, и на российском рынке также появляются успешные истории внедрения. В этой статье мы рассмотрим текущее состояние open-source решений и уделим особое внимание применению больших языковых моделей в каталогах данных. Я со своей стороны хочу разобраться в текущем состоянии этой части современного open-source стэка данных и внимательнее посмотреть на некоторые новые аспекты.

https://habr.com/ru/articles/824360/

#дата_каталоги #open_source #большие_языковые_модели #дата_инжиниринг

[Перевод] Использование генеративного ИИ для автоматизации дата инжиниринга

За сравнительно небольшое время генеративный искусственный интеллект (Gen AI) превратился в одну из ключевых технических парадигм и уже породил отдельное направление в программной инженерии. Это происходит аналогично тому, как сначала это сделали СУБД, потом интернет с поиском и мобильными платформами. Gen AI несет в себе не меньший потенциал для решения и автоматизации ключевых бизнес-проблем.

https://habr.com/ru/articles/818811/

#дата_инжиниринг #llm #языковые_модели

Кто такой Data Engineer

Да, в этих ваших интернетах есть много материалов о том кто такой Data Engineer (DE), в том числе и на самом хабре . Но мне самому захотелось об этом рассказать. Опыт, хоть и небольшой, в этой сфере у меня есть (Сейчас Data Engineer в Сбер Образовании). ЭТА СТАТЬЯ НЕ ЯВЛЯЕТСЯ СУПЕР ТЕХНИЧЕСКОЙ, В КОТОРОЙ СТРОГО ВСЕ ПО НАУЧНОМУ. ТУТ Я ОБЪЯСНЯЮ ТЕМУ ПРОСТЫМ ЯЗЫКОМ (по другому не сумею)

https://habr.com/ru/articles/801971/

#data #базы_данных #data_engineering #дата #дата_инженер #дата_инжиниринг #базы_даннных #карьера #карьера_программиста #карьера_в_itиндустрии

Требования к данным для систем ИИ по верификации людей

Чтобы обеспечить надежную и точную верификацию людей при использовании систем ИИ, необходимо разработать и определить оптимальные требования к наборам данных. Целью данного исследования является определение стандартов формирования наборов данных для повышения качества работы систем верификации людей по изображению.

https://habr.com/ru/articles/791644/

#компьютерное_зрение #дата_инжиниринг #искусственный_интеллект #машинное_обучение #верификация_личности #идентификация #recognition #detection

[Перевод] Переход с ETL на ELT

ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных. В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT. Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.

https://habr.com/ru/companies/itsumma/articles/780612/

#ITSumma #программирование #дата_инжиниринг #разработка_ПО #анализ_данных #DevOps

[Перевод] Переход с ETL на ELT

ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных. В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT. Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.

https://habr.com/ru/companies/itsumma/articles/780612/

#ITSumma #программирование #дата_инжиниринг #разработка_ПО #анализ_данных #DevOps