Live and recent posts from across the Fediverse tagged #контракты_данных, aggregated by home.social.
Книга: «Контракты данных. Разработка конвейеров продакшен-уровня»
Привет, Хаброжители! Контракты данных — это архитектурный паттерн, с помощью которого заключаются соглашения между производителями и потребителями данных. Они являются частью более масштабного подхода под названием сдвиг влево (shift left), в рамках которого вы используете автоматизацию, чтобы разработчики программного приложения или продукта обеспечили необходимые меры контроля, специфичные для их домена.
Как реализовать контракты данных для работы с объектами
Привет, Хаброжители! Мы подготовили для вас новый перевод статьи о контрактах данных. Здесь рассмотрены контракты данных на основе объектов, реализованные на базе CDC. Рассказано, каково определение контракта, как он выполняется, и как для него предписывается схема.
Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg
Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так что следующим приходится выбирать каталог. Каталог хранит указатель на актуальную версию таблицы, проводит commit и решает, кому эту таблицу читать, поэтому по весу я бы поставил этот выбор рядом с выбором СУБД. В статье разбираю Lakekeeper , это один бинарник на Rust и обычный Postgres для метаданных, права на OpenFGA до отдельной таблицы и механизм ContractVerification, который может отклонить commit, если тот ломает контракт данных. Для сравнения рядом Apache Polaris , проект фонда Apache на Java с RBAC в два уровня и федерацией внешних каталогов. В конце описан стек из банковского проекта (RustFS, Lakekeeper с Postgres, SeaTunnel, NiFi, Trino и ClickHouse), который развернули на своём железе за три дня и через три недели вывели в тестовую эксплуатацию.
https://habr.com/ru/articles/1087262/
#lakekeeper #apache_polaris #apache_iceberg #iceberg_rest_catalog #dwh #контракты_данных #хранилище_данных #datalakehouse #data_mesh #data_governance
Контракты данных между командами: гайд по data contracts в дата‑пайплайнах
Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённостей между командами. В статье разбираем, как data contracts помогают фиксировать структуру, правила и ответственность за данные — и почему это спасает витрины, отчёты и нервы дата-инженеров.
https://habr.com/ru/companies/otus/articles/1042140/
#контракты_данных #data_contracts #датапайплайны #DWH #Data_Lake #Data_Engineering #dbt #Kafka #Schema_Registry #качество_данных