home.social

#etlпайплайн — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #etlпайплайн, aggregated by home.social.

  1. Habr @[email protected] ·

    [Перевод] DuckDB как микро-хранилище: заменяем «ETL + Postgres» одним файлом, одним движком и SLA

    Частая история: данные приложения попадают куда-то, джоб их чистит, Postgres хранит их «для аналитики» и вдруг вы обслуживаете ETL-пайплайн и базу данных, которая никогда не была рада OLAP-нагрузке. По моему мнению, для большинства команд это лишние сложности. Главная сила DuckDB не в том, что он быстрый (хотя это правда). Она в том, что он может работать как микро-хранилище: один .duckdb -файл, который ведёт себя как аккуратный аналитический движок, находится рядом с данными и обеспечивает дашборды, аудиты и еженедельные отчёты без платформенного оверхеда.

    habr.com/ru/articles/1022746/

    #duckdb #postgresql #etl #etlпайплайн

    #etlпайплайн #etl #postgresql #duckdb
  2. Habr @[email protected] ·

    Построение потока данных в облаке с использованием serverless сервисов

    Привет! У бизнеса на практике часто встречается задача построить полноценную аналитику, используя данных из excel, csv файлов. Разнообразие подходов к заполнению и образованию таких файлов может быть разное:

    habr.com/ru/articles/939936/

    #serverless #базы_данных #python #облако #аналитика_данных #инжиниринг_данных #etlпайплайн #потоки_данных #dwh

    #dwh #потоки_данных #etlпайплайн #инжиниринг_данных #аналитика_данных #облако
  3. Habr @[email protected] ·

    Kafka Streams ч2: DSL, Processor API

    DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.

    habr.com/ru/articles/854680/

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн
  4. Habr @[email protected] ·

    Kafka Streams ч2: DSL, Processor API

    DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.

    habr.com/ru/articles/854680/

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн
  5. Habr @[email protected] ·

    Kafka Streams ч2: DSL, Processor API

    DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.

    habr.com/ru/articles/854680/

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн
  6. Habr @[email protected] ·

    Kafka Streams ч2: DSL, Processor API

    DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.

    habr.com/ru/articles/854680/

    #etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java

    #java #etlпайплайн #etlпроцессы #elt #kafka #kafka_streams