#dagster — Public Fediverse posts

🚀 NEW on We ❤️ Open Source 🚀

Scaling docs ≠ scaling team.

Colton Padden shows how Dagster supports 16k+ community Qs/month using AI + smart info architecture. Great insights on open source growth and empathetic documentation.

https://allthingsopen.org/articles/scaling-documentation-without-scaling-team-dagster

#WeLoveOpenSource #OpenSource #AI #Dagster #Documentation #CommunityDriven

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.

https://habr.com/ru/articles/944284/

#data_warehouse #dwh #airflow #dagster #оркестрация #оркестратор #data_engineering

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.

https://habr.com/ru/articles/944284/

#data_warehouse #dwh #airflow #dagster #оркестрация #оркестратор #data_engineering

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.

https://habr.com/ru/articles/944284/

#data_warehouse #dwh #airflow #dagster #оркестрация #оркестратор #data_engineering

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?

Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow.

https://habr.com/ru/articles/944284/

#data_warehouse #dwh #airflow #dagster #оркестрация #оркестратор #data_engineering

ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)

К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.

https://habr.com/ru/articles/931282/

#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster

ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)

К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.

https://habr.com/ru/articles/931282/

#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster

ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)

К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.

https://habr.com/ru/articles/931282/

#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster

ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)

К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.

https://habr.com/ru/articles/931282/

#dbt #ymlфайл #datalakehouse #data_engineering #etlпроцессы #open_source #trino #clickhouse #dagster

Dagsterとdbt CoreをECS on Fargateで構築する
https://dev.classmethod.jp/articles/dagster-dbt-core-ecs-sample/

#dev_classmethod #dagster #dbt #dbt_Core #Amazon_ECS #ECS_on_Fargate

Dagsterとdbt CoreをECS on Fargateで構築する
https://dev.classmethod.jp/articles/dagster-dbt-core-ecs-sample/

#dev_classmethod #dagster #dbt #dbt_Core #Amazon_ECS #ECS_on_Fargate

DagsterとdbtをDockerコンテナ上に構築する
https://dev.classmethod.jp/articles/dagster-dbt-docker-setup/

#dev_classmethod #dagster #dbt #Docker #Docker_Compose

Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:

https://habr.com/ru/articles/883700/

#dagster #etl #data_pipelines #оркестрация #data_engineering #mlops #python #dataops_engineer #big_data #big_data_analytics

Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:

https://habr.com/ru/articles/883700/

#dagster #etl #data_pipelines #оркестрация #data_engineering #mlops #python #dataops_engineer #big_data #big_data_analytics

Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:

https://habr.com/ru/articles/883700/

#dagster #etl #data_pipelines #оркестрация #data_engineering #mlops #python #dataops_engineer #big_data #big_data_analytics

Dagster: новый стандарт для ETL в 2025?

Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:

https://habr.com/ru/articles/883700/

#dagster #etl #data_pipelines #оркестрация #data_engineering #mlops #python #dataops_engineer #big_data #big_data_analytics

I really like working with @dagster , I use it for $work but personally too. Once you reach a certain amount of assets you need a way to distinguish them from each other.

I created an example with some screenshots to highlight the different options. And also show how you can test for those #Dagster style things. https://github.com/RMHogervorst/dagster_labeling_testing_example

Dagster is an orchestration engine for data pipelines written in Python. In this configuration, I've subdued it into a reproducibly built, runnable Nix application with poetry2nix:

https://rossabaker.com/configs/dagster/

Next steps include a NixOS module and systemd service for production deployment.

#Dagster #Nix #Poetry2Nix

Implemented a simple Dagster data pipeline last night for personal use. I am delighted how easy it was to start, but squeamish about on "open core" and "Slack community". Anyone want to talk me into it or out of it?

#Dagster

Still, #dagster has less dependencies, and after some battling and downgrading version, I managed to start the dev environment...

Building a #Apacheairflow container, is pure chaos. Installing via pip, is another kind of hell, with broken builds all over the place (google-re2)... A tool that has 9 years in the market, being so overwhelming its installation process

At least I can make #dagster run.

I guess we are all ill served with workflow orchestration tools anyway, on the open source world

I take back what I said yesterday... #dagster installation process is quite clumsy. And I detected some issues in terms of documentation/instructions.
I manage to install and run #Apacheairflow in 2 clicks...

Tried #apache #airflow recently, and although it's a good tool, I'm beginning to change my mind for #dagster ...

UI is quite good, with a lot of details, and the documentation, is quite good.

Scheduling is less complex, in comparison with Airflow...

Definitely inspired to try #Dagster from last night's #Python meetup here in #Canberra. It looks like a better fit than #Airflow for the #data pipelines I need to build.

I recently played with Grist, a #spreadsheet tool but more powerful. I think it could work really good in human-in-the-loop pipelines, for instance with #Dagster. I wrote down some thoughts here:

https://blog.rmhogervorst.nl/blog/2024/01/28/using-grist-as-part-of-your-data-engineering-pipeline-with-dagster/

What data orchestrator are you using in production?

#data #orchestrators #airflow #prefect #dagster #mage

What data orchestrator are you using in production?

#data #orchestrators #airflow #prefect #dagster #mage

What data orchestrator are you using in production?

#data #orchestrators #airflow #prefect #dagster #mage

Tracking the #Fake #GitHub #Star #BlackMarket with #Dagster, #dbt and #BigQuery | #DagsterBlog

"We knew there were dubious services out there offering #StarsCorCash, so we set up a dummy repo (frasermarlow/tap-bls) and purchased a bunch of stars. From these, we devised a profile for fake accounts and ran a number of #repos through a test using the GitHub REST API (via pygithub) and the GitHub Archive database."

https://dagster.io/blog/fake-stars

The fake #github star detection is a neat use-case.

Great write up by the #dagster team!
https://dagster.io/blog/fake-stars

Interested to run #etl workloads on #kubernetes - has anyone done a comparison of #dagster on kubernetes against #argoworkflows?