home.social

#data_lakehouse — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #data_lakehouse, aggregated by home.social.

  1. Habr @[email protected] ·

    Как стартовать с Data Lakehouse и перейти на Data Lake

    В статье Архитектура высоконагруженной платформы Magnit F&R было рассказано о ключевых архитектурных принципах и решениях. Сегодня хочу поделиться практическим опытом: как в Magnit Tech изменилась концепция Data Lakehouse, где она блестяще сработала — и где подвела. Я, Алексей Соболеков, лид архитектуры F&R. И это история о том, как красивая теория сталкивается с физикой доступа к данным.

    habr.com/ru/companies/magnit/a

    #magnit_tech #Trino #ClickHouse #Data_Lakehouse #DWH #ритейл #архитектура_системы

    #архитектура_системы #ритейл #dwh #data_lakehouse #clickhouse #trino
  2. Habr @[email protected] ·

    Substrait — lingua franca для баз данных

    Substrait — это промежуточный формат (IR) для обмена планами запросов между системами. Он снимает боль диалектов SQL, позволяет делать pushdown в разные бэкенды и избавляет от повторного парсинга/оптимизации федеративных системах и позволяет относительно безболезненно заменять один бэкенд другим. Ниже - зачем он нужен, как устроен и кто поддерживает. Узнать про Substrait

    habr.com/ru/companies/cedrusda

    #Substrait #федеративные_запросы #универсальный_IR #СУБД #pushdown #оптимизация #SQL #data_lakehouse #data_lake #trino

    #trino #data_lake #data_lakehouse #sql #оптимизация #pushdown