#etl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #etl, aggregated by home.social.
-
Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/
-
Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/
-
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.
https://habr.com/ru/articles/1051760/
#postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops