#etl — Public Fediverse posts

Из Oracle в PostgreSQL одним INSERT: DuckDB как ETL без Oracle-клиента

Когда говорят о DuckDB, обычно вспоминают аналитику: локальные запросы к Parquet, быстрые агрегации, ноутбуки. Но у него есть свойство, к аналитике отношения не имеющее: он умеет соединять источник и приёмник данных внутри одного SQL-плана. С расширениями для Oracle и PostgreSQL перенос данных сводится к одному запросу — без Instant Client, без OCI, без Python и без промежуточных файлов. А если одной сессии Oracle мало, чтение разбивается на параллельные шарды, читающие один согласованный снимок по единому SCN.

https://habr.com/ru/articles/1073924/

#DuckDB #Oracle #PostgreSQL #ETL #ELT #миграция_данных #ora2pg #oracle_fdw #TNS #аналитика_данных

Из Oracle в PostgreSQL одним INSERT: DuckDB как ETL без Oracle-клиента

Когда говорят о DuckDB, обычно вспоминают аналитику: локальные запросы к Parquet, быстрые агрегации, ноутбуки. Но у него есть свойство, к аналитике отношения не имеющее: он умеет соединять источник и приёмник данных внутри одного SQL-плана. С расширениями для Oracle и PostgreSQL перенос данных сводится к одному запросу — без Instant Client, без OCI, без Python и без промежуточных файлов. А если одной сессии Oracle мало, чтение разбивается на параллельные шарды, читающие один согласованный снимок по единому SCN.

https://habr.com/ru/articles/1073924/

#DuckDB #Oracle #PostgreSQL #ETL #ELT #миграция_данных #ora2pg #oracle_fdw #TNS #аналитика_данных

Из Oracle в PostgreSQL одним INSERT: DuckDB как ETL без Oracle-клиента

Когда говорят о DuckDB, обычно вспоминают аналитику: локальные запросы к Parquet, быстрые агрегации, ноутбуки. Но у него есть свойство, к аналитике отношения не имеющее: он умеет соединять источник и приёмник данных внутри одного SQL-плана. С расширениями для Oracle и PostgreSQL перенос данных сводится к одному запросу — без Instant Client, без OCI, без Python и без промежуточных файлов. А если одной сессии Oracle мало, чтение разбивается на параллельные шарды, читающие один согласованный снимок по единому SCN.

https://habr.com/ru/articles/1073924/

#DuckDB #Oracle #PostgreSQL #ETL #ELT #миграция_данных #ora2pg #oracle_fdw #TNS #аналитика_данных

https://www.europesays.com/be-fr/216297/ Voici les causes de la mort d’Hayden Panettiere à seulement 36 ans : « On m’a donné ma première pilule du bonheur à 15 ans » #àAnderlecht #Actualités #BE #BEFr #Belgique #Belgium #EntreLeQuaiDeBiestebroek #EtL'écluseDeMolenbeek #FlottaientDesMilliersDePoissonsMortsDansL'eauDuCanal #News #PorteDeNinove

ETL Global strengthens presence in Germany

ETL Global has expanded its network in central Germany with the addition of ETL H&P Thüringen. The tax…
#Germany #DE #Europe #EU #Europa #AnneSophieMeuche #ETLGlobal #ETL) #taxadvisoryfirms #taxobligations
https://www.europesays.com/germany/70046/

FlatAdapter для преобразования иерархических структур

Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в детерминированный список плоских строк. Библиотека умеет приводить scalar-типы, обрабатывать optional-поля, извлекать значения по путям, разворачивать вложенные FlatAdapter-ы и строить декартово произведение списков.

https://habr.com/ru/articles/1068172/

#etl #airflow #python #backend #data_compose #data_mining #dwh

FlatAdapter для преобразования иерархических структур

Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в детерминированный список плоских строк. Библиотека умеет приводить scalar-типы, обрабатывать optional-поля, извлекать значения по путям, разворачивать вложенные FlatAdapter-ы и строить декартово произведение списков.

https://habr.com/ru/articles/1068172/

#etl #airflow #python #backend #data_compose #data_mining #dwh

FlatAdapter для преобразования иерархических структур

Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в детерминированный список плоских строк. Библиотека умеет приводить scalar-типы, обрабатывать optional-поля, извлекать значения по путям, разворачивать вложенные FlatAdapter-ы и строить декартово произведение списков.

https://habr.com/ru/articles/1068172/

#etl #airflow #python #backend #data_compose #data_mining #dwh

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Как я собрала локальную MCP-платформу для мониторинга промышленных данных

Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

https://habr.com/ru/articles/1064802/

#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

Всё по полочкам или как мы создавали единую метрику для сотен моделей антифрода

Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито . Мы пользуемся сотнями ИИ-моделей, чтобы бороться с действиями недобросовестных пользователей. Но иногда модели работают не так эффективно, как следует. Поэтому моя команда решила найти аутсайдеров и передать их на доработку DS-инженерам. Расскажу, как мы пересматривали подход к оценке моделей. Статья будет полезна аналитикам и DS, которые работают с несколькими ML-моделями в проде и хоть раз озадачились вопросом, как сравнивать их между собой.

https://habr.com/ru/companies/avito/articles/1064332/

#аналитика_данных #etl #sql #antifraud #модель_данных #trino #bi

Всё по полочкам или как мы создавали единую метрику для сотен моделей антифрода

Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито . Мы пользуемся сотнями ИИ-моделей, чтобы бороться с действиями недобросовестных пользователей. Но иногда модели работают не так эффективно, как следует. Поэтому моя команда решила найти аутсайдеров и передать их на доработку DS-инженерам. Расскажу, как мы пересматривали подход к оценке моделей. Статья будет полезна аналитикам и DS, которые работают с несколькими ML-моделями в проде и хоть раз озадачились вопросом, как сравнивать их между собой.

https://habr.com/ru/companies/avito/articles/1064332/

#аналитика_данных #etl #sql #antifraud #модель_данных #trino #bi

Всё по полочкам или как мы создавали единую метрику для сотен моделей антифрода

Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито . Мы пользуемся сотнями ИИ-моделей, чтобы бороться с действиями недобросовестных пользователей. Но иногда модели работают не так эффективно, как следует. Поэтому моя команда решила найти аутсайдеров и передать их на доработку DS-инженерам. Расскажу, как мы пересматривали подход к оценке моделей. Статья будет полезна аналитикам и DS, которые работают с несколькими ML-моделями в проде и хоть раз озадачились вопросом, как сравнивать их между собой.

https://habr.com/ru/companies/avito/articles/1064332/

#аналитика_данных #etl #sql #antifraud #модель_данных #trino #bi

Как LLM могут помочь определить Data Lineage

Сегодня данные стали основой для принятия решений, а их качество и прозрачность — критичными факторами успеха любого бизнеса. Однако с ростом объёма информации и усложнением архитектуры баз данных аналитики всё чаще сталкиваются с такими проблемами, как неясность происхождения данных, трудность в отслеживании их преобразований, риски использования устаревших или некорректных метрик. Приходится постоянно полагаться на традиционную документацию, спецификации по загрузке данных или Source-to-Target mapping-файлы. Эти артефакты, как правило, быстро устаревают, не отражая актуальной логики преобразований, зашитой в ETL-процессах и SQL-коде. В результате необходимо вручную поддерживать актуальность такой документации, или, что ещё ресурсозатратнее, проведить реверс-инжиниринг тысяч строк SQL-кода хранилища данных для понимания реальных зависимостей. Эти проблемы обостряются в контексте постоянных изменений ИТ-ландшафта, например, миграции в облако, замены устаревших систем-источников (legacy systems) или интеграции новых платформ. И если нет понимания «жизненного цикла» данных, то это превращается в прямую угрозу для бизнес-непрерывности. Критичной задачей становится безопасное и контролируемое переключение существующих решений — витрин, дашбордов и отчётов — на новые источники данных при строгом условии минимизации или полного исключения влияния на конечных потребителей. Здесь на первый план выходит концепция Data Lineage. Это не просто инструмент для документирования пути данных от источника до конечного отчёта, а ключевой механизм управления изменениями. Data Lineage обеспечивает полную видимость всех исходных, промежуточных и итоговых объектов, позволяя точно оценить воздействие планируемой миграции, и даёт ответ на главные вопросы: - Какие витрины и отчёты зависят от этого источника? - Какие преобразования данных необходимо проверить или перенастроить? - Откуда в новой системе взять актуальные и корректные данные? Мы рассмотрим, как с помощью применения больших языковых моделей (LLM) для автоматического анализа SQL-кода и ETL-логики извлечь точный Data Lineage.

https://habr.com/ru/companies/sberbank/articles/1058618/

#data_lineage #llm #sql #etl

Как LLM могут помочь определить Data Lineage

Сегодня данные стали основой для принятия решений, а их качество и прозрачность — критичными факторами успеха любого бизнеса. Однако с ростом объёма информации и усложнением архитектуры баз данных аналитики всё чаще сталкиваются с такими проблемами, как неясность происхождения данных, трудность в отслеживании их преобразований, риски использования устаревших или некорректных метрик. Приходится постоянно полагаться на традиционную документацию, спецификации по загрузке данных или Source-to-Target mapping-файлы. Эти артефакты, как правило, быстро устаревают, не отражая актуальной логики преобразований, зашитой в ETL-процессах и SQL-коде. В результате необходимо вручную поддерживать актуальность такой документации, или, что ещё ресурсозатратнее, проведить реверс-инжиниринг тысяч строк SQL-кода хранилища данных для понимания реальных зависимостей. Эти проблемы обостряются в контексте постоянных изменений ИТ-ландшафта, например, миграции в облако, замены устаревших систем-источников (legacy systems) или интеграции новых платформ. И если нет понимания «жизненного цикла» данных, то это превращается в прямую угрозу для бизнес-непрерывности. Критичной задачей становится безопасное и контролируемое переключение существующих решений — витрин, дашбордов и отчётов — на новые источники данных при строгом условии минимизации или полного исключения влияния на конечных потребителей. Здесь на первый план выходит концепция Data Lineage. Это не просто инструмент для документирования пути данных от источника до конечного отчёта, а ключевой механизм управления изменениями. Data Lineage обеспечивает полную видимость всех исходных, промежуточных и итоговых объектов, позволяя точно оценить воздействие планируемой миграции, и даёт ответ на главные вопросы: - Какие витрины и отчёты зависят от этого источника? - Какие преобразования данных необходимо проверить или перенастроить? - Откуда в новой системе взять актуальные и корректные данные? Мы рассмотрим, как с помощью применения больших языковых моделей (LLM) для автоматического анализа SQL-кода и ETL-логики извлечь точный Data Lineage.

https://habr.com/ru/companies/sberbank/articles/1058618/

#data_lineage #llm #sql #etl

Как LLM могут помочь определить Data Lineage

Сегодня данные стали основой для принятия решений, а их качество и прозрачность — критичными факторами успеха любого бизнеса. Однако с ростом объёма информации и усложнением архитектуры баз данных аналитики всё чаще сталкиваются с такими проблемами, как неясность происхождения данных, трудность в отслеживании их преобразований, риски использования устаревших или некорректных метрик. Приходится постоянно полагаться на традиционную документацию, спецификации по загрузке данных или Source-to-Target mapping-файлы. Эти артефакты, как правило, быстро устаревают, не отражая актуальной логики преобразований, зашитой в ETL-процессах и SQL-коде. В результате необходимо вручную поддерживать актуальность такой документации, или, что ещё ресурсозатратнее, проведить реверс-инжиниринг тысяч строк SQL-кода хранилища данных для понимания реальных зависимостей. Эти проблемы обостряются в контексте постоянных изменений ИТ-ландшафта, например, миграции в облако, замены устаревших систем-источников (legacy systems) или интеграции новых платформ. И если нет понимания «жизненного цикла» данных, то это превращается в прямую угрозу для бизнес-непрерывности. Критичной задачей становится безопасное и контролируемое переключение существующих решений — витрин, дашбордов и отчётов — на новые источники данных при строгом условии минимизации или полного исключения влияния на конечных потребителей. Здесь на первый план выходит концепция Data Lineage. Это не просто инструмент для документирования пути данных от источника до конечного отчёта, а ключевой механизм управления изменениями. Data Lineage обеспечивает полную видимость всех исходных, промежуточных и итоговых объектов, позволяя точно оценить воздействие планируемой миграции, и даёт ответ на главные вопросы: - Какие витрины и отчёты зависят от этого источника? - Какие преобразования данных необходимо проверить или перенастроить? - Откуда в новой системе взять актуальные и корректные данные? Мы рассмотрим, как с помощью применения больших языковых моделей (LLM) для автоматического анализа SQL-кода и ETL-логики извлечь точный Data Lineage.

https://habr.com/ru/companies/sberbank/articles/1058618/

#data_lineage #llm #sql #etl

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Magento Custom Attributes und Drittmodule per MCP nutzen #beratung #etl #llm #magento https://www.konvis.de/neuigkeiten/ai-ki-llm/magento-custom-attributes-und-drittmodule-per-mcp-nutzen/

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

Watch Now: https://zurl.co/7QNmv

Extract, Transform & Load (ETL) Explained | ETL Process in Data Engineering | Beginner to Advanced

#ETL #DataEngineering #DataWarehouse #DataIntegration #SalesforceDataCloud #SQL #ELT #BusinessIntelligence #DataAnalytics #BigData #DataPipeline #CloudComputing #Informatica #Talend #AWSGlue #Peoplewoo #Salesforce #LearnETL #TechTutorial #DataEngineer

TROCCOの開発・運用を楽にする？Chromeの「Geminiに相談」を試してみた
https://qiita.com/suginohara/items/238188d1f18152748e83?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Chrome #ETL #Gemini #trocco #AI活用

TROCCOの開発・運用を楽にする？Chromeの「Geminiに相談」を試してみた
https://qiita.com/suginohara/items/238188d1f18152748e83?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Chrome #ETL #Gemini #trocco #AI活用

Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации

Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.

https://habr.com/ru/articles/1060944/

#airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners

Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации

Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.

https://habr.com/ru/articles/1060944/

#airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners

Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации

Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времени уходит на анализ упавших пайплайнов, заведение однотипных задач, поднятие тревоги, отмена тревоги, потому что проблема уже исправляется и прочие прелести тестерской работы. В один прекрасный осенний денек, сидя на окне и думая о нем (мониторинге), я решила - хватит это терпеть. Посидела, погуглила, вспомнила родительские слова “Хочешь сделать что-то хорошо - сделай это сама”. Что ж таков путь.

https://habr.com/ru/articles/1060944/

#airflow #apache_airflow #etl #listener #dag #dags #youtrack #api #python #listeners

DE. Путь файла по слоям

В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая попала в rejects с конкретной причиной. На этом небольшом примере покажу весь путь данных через RAW, STG, CORE и MARTS. Разберём, где меняются строки и суммы, как пережить повторную доставку файла и какие проверки позволяют доверять итоговому дашборду. Внутри MinIO, Postgres и Airflow.

https://habr.com/ru/articles/1062446/

#Data_Engineering #ETL #DWH #пайплайн_данных #Apache_Airflow #PostgreSQL #MinIO #Data_Quality #CSV #BI

DE. Путь файла по слоям

В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая попала в rejects с конкретной причиной. На этом небольшом примере покажу весь путь данных через RAW, STG, CORE и MARTS. Разберём, где меняются строки и суммы, как пережить повторную доставку файла и какие проверки позволяют доверять итоговому дашборду. Внутри MinIO, Postgres и Airflow.

https://habr.com/ru/articles/1062446/

#Data_Engineering #ETL #DWH #пайплайн_данных #Apache_Airflow #PostgreSQL #MinIO #Data_Quality #CSV #BI

DE. Путь файла по слоям

В исходном orders.csv было 11 строк. До BI-витрины дошло 7, а валовая сумма 4720.30 после применения бизнес-правил превратилась в 2200.30 выручки. Четыре строки не исчезли: каждая попала в rejects с конкретной причиной. На этом небольшом примере покажу весь путь данных через RAW, STG, CORE и MARTS. Разберём, где меняются строки и суммы, как пережить повторную доставку файла и какие проверки позволяют доверять итоговому дашборду. Внутри MinIO, Postgres и Airflow.

https://habr.com/ru/articles/1062446/

#Data_Engineering #ETL #DWH #пайплайн_данных #Apache_Airflow #PostgreSQL #MinIO #Data_Quality #CSV #BI

AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети

Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 16 500 отзывов в одном контуре, более 9 500 записей в собственном хранилище, четыре XML-фида, мониторинг, автоответы и 130+ страниц документации. Все это обходится в 8,5К в месяц. Это кейс не только про AI-assisted development, но и про вполне прикладную пользу для бизнеса: меньше ручной работы, меньше пропусков и ошибок, единая аналитика и понятная стоимость эксплуатации. А заодно – честный разбор того, где AI действительно снижает порог входа в разработку, а где без человеческого контроля быстро начинает моросить.

https://habr.com/ru/articles/1060962/

#AIassisted_development #ChatGPT #автоматизация_бизнеспроцессов #Cloudflare_Workers #Cloudflare_D1 #serverless #ETL #интеграция_API #data_engineering #автоматизация_отзывов

AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети

Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 16 500 отзывов в одном контуре, более 9 500 записей в собственном хранилище, четыре XML-фида, мониторинг, автоответы и 130+ страниц документации. Все это обходится в 8,5К в месяц. Это кейс не только про AI-assisted development, но и про вполне прикладную пользу для бизнеса: меньше ручной работы, меньше пропусков и ошибок, единая аналитика и понятная стоимость эксплуатации. А заодно – честный разбор того, где AI действительно снижает порог входа в разработку, а где без человеческого контроля быстро начинает моросить.

https://habr.com/ru/articles/1060962/

#AIassisted_development #ChatGPT #автоматизация_бизнеспроцессов #Cloudflare_Workers #Cloudflare_D1 #serverless #ETL #интеграция_API #data_engineering #автоматизация_отзывов

AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети

Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 16 500 отзывов в одном контуре, более 9 500 записей в собственном хранилище, четыре XML-фида, мониторинг, автоответы и 130+ страниц документации. Все это обходится в 8,5К в месяц. Это кейс не только про AI-assisted development, но и про вполне прикладную пользу для бизнеса: меньше ручной работы, меньше пропусков и ошибок, единая аналитика и понятная стоимость эксплуатации. А заодно – честный разбор того, где AI действительно снижает порог входа в разработку, а где без человеческого контроля быстро начинает моросить.

https://habr.com/ru/articles/1060962/

#AIassisted_development #ChatGPT #автоматизация_бизнеспроцессов #Cloudflare_Workers #Cloudflare_D1 #serverless #ETL #интеграция_API #data_engineering #автоматизация_отзывов

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Ingénierie des données : *sculpter l’information*. #DataEngineering #Sculpture #Expertise #Tech #Luxe #ETL #Spark #Scala #Java #Python #Shell ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-sculpture-expertise-share-7479993797121220609-5f61/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

Vos données sont une *soupe mal mixée* ? *Mixez-les*. #DataEngineering #Humour #Tech #NoBullshit #ETL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-humour-tech-share-7479512369493270528-xmvr/

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

CROWler 2.0 has landed 🚀

Highlights:
• Redesigned Information Seeds for discovering and onboarding relevant sources
• Rebuilt email/newsletter discovery that turns useful signals into structured data
• More powerful AI and non-AI Agents 2.0
• OpenAPI support for custom API plugins
• More scalable events and analysis tools
• Better performance, lower memory use and greater scalability

https://github.com/pzaino/thecrowler

What discovery pipeline will you build next?

#TheCROWler #DataDiscovery #ETL #OSINT

Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/

Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/

Données *éparpillées* ? *Assemblez-les*. #DataEngineering #DataEngineer #Puzzle #Stratégie #ROI #Leadership #Kafka #ETL ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-dataengineer-puzzle-share-7478732682080759809-O4vQ/