home.social

#trino — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #trino, aggregated by home.social.

  1. Habr @[email protected] ·

    Одна таблица результатов на 14 движков: как мы перестали дорисовывать то, чего движок не умеет

    Сразу оговорюсь: я из команды LibreDB Studio, и статья — про наши собственные грабли. LibreDB Studio — это self-hosted IDE для СУБД, работающая в браузере: один инстанс разворачивается рядом с базами, а не устанавливается на ноутбук каждого разработчика. Команда открывает URL — и почти сразу упирается в вопрос, который сожрал у нас не один спринт: как показать результат из четырнадцати принципиально разных движков в одной таблице и при этом не начать выдавать пользователю выдумки за реальные данные.

    habr.com/ru/articles/1079790/

    #базы_данных #SQL #NoSQL #IDE #selfhosted #open_source #PostgreSQL #Cassandra #Trino #LibreDB

    #libredb #trino #cassandra #postgresql #open_source #selfhosted
  2. Habr @[email protected] ·

    Одна таблица результатов на 14 движков: как мы перестали дорисовывать то, чего движок не умеет

    Сразу оговорюсь: я из команды LibreDB Studio, и статья — про наши собственные грабли. LibreDB Studio — это self-hosted IDE для СУБД, работающая в браузере: один инстанс разворачивается рядом с базами, а не устанавливается на ноутбук каждого разработчика. Команда открывает URL — и почти сразу упирается в вопрос, который сожрал у нас не один спринт: как показать результат из четырнадцати принципиально разных движков в одной таблице и при этом не начать выдавать пользователю выдумки за реальные данные.

    habr.com/ru/articles/1079790/

    #базы_данных #SQL #NoSQL #IDE #selfhosted #open_source #PostgreSQL #Cassandra #Trino #LibreDB

    #libredb #trino #cassandra #postgresql #open_source #selfhosted
  3. Habr @[email protected] ·

    Одна таблица результатов на 14 движков: как мы перестали дорисовывать то, чего движок не умеет

    Сразу оговорюсь: я из команды LibreDB Studio, и статья — про наши собственные грабли. LibreDB Studio — это self-hosted IDE для СУБД, работающая в браузере: один инстанс разворачивается рядом с базами, а не устанавливается на ноутбук каждого разработчика. Команда открывает URL — и почти сразу упирается в вопрос, который сожрал у нас не один спринт: как показать результат из четырнадцати принципиально разных движков в одной таблице и при этом не начать выдавать пользователю выдумки за реальные данные.

    habr.com/ru/articles/1079790/

    #базы_данных #SQL #NoSQL #IDE #selfhosted #open_source #PostgreSQL #Cassandra #Trino #LibreDB

    #базы_данных #sql #nosql #ide #selfhosted #open_source
  4. Habr @[email protected] ·

    Ускоряем федеративные запросы в StarRocks

    Когда речь заходит про Lakehouse и федеративный доступ , многие вспоминают про Trino и… часто на этом все. Но федеративные запросы поддерживаются в том или ином виде довольно большим количеством СУБД, SQL-движков и систем для виртуализации данных. В этой статье постараемся немного расширить кругозор читателей, которым интересна данная тема: рассмотрим федеративные запросы на примере набирающего популярность и активно развивающегося StarRocks . Из статьи вы узнаете: что такое федеративные запросы, как обстоят дела с реализацией гетерогенного федеративного доступа в этой СУБД и какие изменения команда решения Data Ocean Nova реализовала для оптимизации в StarRocks и Impala с целью улучшения функционала доступа к внешним данным.

    habr.com/ru/companies/datasapi

    #starrocks #федеративные_системы #lakehouse #datalakehouse #dwh #mpp #jdbc #greenplum #trino

    #trino #greenplum #jdbc #mpp #dwh #datalakehouse
  5. Habr @[email protected] ·

    Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

    #bigdata #dwh #datalakehouse #lakehouse #mpp #teradata
  6. Habr @[email protected] ·

    Trino в Авито два года спустя: от движка к полноценной экосистеме

    Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Avito . Уже третий год мы занимаемся миграцией с Vertica на Trino. Изначально казалось, что это будет просто: перенесём запросы, перепишем коннекторы, чуть подправим пайплайны. Но за два с лишним года миграция перестала быть просто миграцией: проект разросся в инженерную одиссею, и вокруг Trino мы начали строить целую экосистему. Как это было — рассказываю под катом.

    habr.com/ru/companies/avito/ar

    #dwh #lakehouse #trino #vertica #mpp #hive #iceberg #ceph #s3 #orc

    #orc #s3 #ceph #iceberg #hive #mpp
  7. Habr @[email protected] ·

    Есть ли жизнь после Vertica или миграция DWH в Lakehouse

    Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Последний раз мы подробно писали о нашей платформе почти четыре года назад — в статье «Эволюция хранилища данных в Авито» . С тех пор аналитическая платформа сильно изменилась — и по масштабу, и по сложности.

    habr.com/ru/companies/avito/ar

    #dwh #trino #vertica #mpp #аналитическая_платформа

    #аналитическая_платформа #mpp #vertica #trino #dwh
  8. Habr @[email protected] ·

    Как стартовать с Data Lakehouse и перейти на Data Lake

    В статье Архитектура высоконагруженной платформы Magnit F&R было рассказано о ключевых архитектурных принципах и решениях. Сегодня хочу поделиться практическим опытом: как в Magnit Tech изменилась концепция Data Lakehouse, где она блестяще сработала — и где подвела. Я, Алексей Соболеков, лид архитектуры F&R. И это история о том, как красивая теория сталкивается с физикой доступа к данным.

    habr.com/ru/companies/magnit/a

    #magnit_tech #Trino #ClickHouse #Data_Lakehouse #DWH #ритейл #архитектура_системы

    #архитектура_системы #ритейл #dwh #data_lakehouse #clickhouse #trino