#etl — Public Fediverse posts

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

Headline: SSIS Is Not Dead. Yet.

Me: Since Microsoft discontinued SSRS for the SQL Server 2025 release, many have been wondering if SSIS' days are numbered. Here's another article prognosticating what comes next.

More SSIS Thoughts: (continued in thread)

https://www.sqlfingers.com/2026/03/ssis-is-not-dead-yet.html

#SQLServer
#SSIS
#ETL

When it comes to the BI & data visualization change what I'm liking the most is the technical challenge to extract insights. Working with #SQL, #Python, #Pandas, #Excel, #SSMS, #SSIS, #SSAS, doing #ETL... It aint easy but it is rewarding. Also learning a lot using #Tableau, #Qlikview and #Talend.

Hardest and least appealing to work with so far has been #SSRS, but I like the results when I manage to get what I want :)

My current employer is using #activemq along with #oracle databases and #oracle #WebLogic_Server as a service-oriented architecture (SOA) to create data interchange amongst disparate systems. It is mostly performing extract-transform-load #etl operations. I wrote something in #python which is way more lightweight and does the same. However, it is more of a script and not necessarily a solution.

What would you recommend as a replacement for the SOA architecture? #ssis? #mulesoft? #camel?