#lakekeeper — Public Fediverse posts

Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg

Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так что следующим приходится выбирать каталог. Каталог хранит указатель на актуальную версию таблицы, проводит commit и решает, кому эту таблицу читать, поэтому по весу я бы поставил этот выбор рядом с выбором СУБД. В статье разбираю Lakekeeper , это один бинарник на Rust и обычный Postgres для метаданных, права на OpenFGA до отдельной таблицы и механизм ContractVerification, который может отклонить commit, если тот ломает контракт данных. Для сравнения рядом Apache Polaris , проект фонда Apache на Java с RBAC в два уровня и федерацией внешних каталогов. В конце описан стек из банковского проекта (RustFS, Lakekeeper с Postgres, SeaTunnel, NiFi, Trino и ClickHouse), который развернули на своём железе за три дня и через три недели вывели в тестовую эксплуатацию.

https://habr.com/ru/articles/1087262/

#lakekeeper #apache_polaris #apache_iceberg #iceberg_rest_catalog #dwh #контракты_данных #хранилище_данных #datalakehouse #data_mesh #data_governance

Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg

Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так что следующим приходится выбирать каталог. Каталог хранит указатель на актуальную версию таблицы, проводит commit и решает, кому эту таблицу читать, поэтому по весу я бы поставил этот выбор рядом с выбором СУБД. В статье разбираю Lakekeeper , это один бинарник на Rust и обычный Postgres для метаданных, права на OpenFGA до отдельной таблицы и механизм ContractVerification, который может отклонить commit, если тот ломает контракт данных. Для сравнения рядом Apache Polaris , проект фонда Apache на Java с RBAC в два уровня и федерацией внешних каталогов. В конце описан стек из банковского проекта (RustFS, Lakekeeper с Postgres, SeaTunnel, NiFi, Trino и ClickHouse), который развернули на своём железе за три дня и через три недели вывели в тестовую эксплуатацию.

https://habr.com/ru/articles/1087262/

#lakekeeper #apache_polaris #apache_iceberg #iceberg_rest_catalog #dwh #контракты_данных #хранилище_данных #datalakehouse #data_mesh #data_governance

Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg

Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так что следующим приходится выбирать каталог. Каталог хранит указатель на актуальную версию таблицы, проводит commit и решает, кому эту таблицу читать, поэтому по весу я бы поставил этот выбор рядом с выбором СУБД. В статье разбираю Lakekeeper , это один бинарник на Rust и обычный Postgres для метаданных, права на OpenFGA до отдельной таблицы и механизм ContractVerification, который может отклонить commit, если тот ломает контракт данных. Для сравнения рядом Apache Polaris , проект фонда Apache на Java с RBAC в два уровня и федерацией внешних каталогов. В конце описан стек из банковского проекта (RustFS, Lakekeeper с Postgres, SeaTunnel, NiFi, Trino и ClickHouse), который развернули на своём железе за три дня и через три недели вывели в тестовую эксплуатацию.

https://habr.com/ru/articles/1087262/

#lakekeeper #apache_polaris #apache_iceberg #iceberg_rest_catalog #dwh #контракты_данных #хранилище_данных #datalakehouse #data_mesh #data_governance