home.social

#mpp — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #mpp, aggregated by home.social.

  1. Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

    Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.

    habr.com/ru/companies/datasapi

    #mpp #lakehouse #datalakehouse #dwh #bigdata #ranger

  2. Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

    Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.

    habr.com/ru/companies/datasapi

    #mpp #lakehouse #datalakehouse #dwh #bigdata #ranger

  3. Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

    Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.

    habr.com/ru/companies/datasapi

    #mpp #lakehouse #datalakehouse #dwh #bigdata #ranger

  4. Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

    Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я раскрою тему влияния динамического сокрытия чувствительных данных на производительность SQL-запросов. Мы сравним различные методики маскирования, узнаем, как работает оптимизатор и движок со скрытыми полями, происходит ли деградация пропускной способности платформы, как влияет на производительность выбранный метод сокрытия чувствительных данных в случаях, если вы используете компонент на базе Apache Ranger.

    habr.com/ru/companies/datasapi

    #mpp #lakehouse #datalakehouse #dwh #bigdata #ranger

  5. Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

    В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.

    habr.com/ru/articles/1031358/

    #starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl

  6. Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

    В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.

    habr.com/ru/articles/1031358/

    #starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl

  7. Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

    В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.

    habr.com/ru/articles/1031358/

    #starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl

  8. Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

    В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репозиторий, enterprise-сборка теперь доступна только по подписке. Greenplum как живой OSS-проект остановился — но сам код, выпускавшийся с октября 2015-го, остался под Apache 2.0. Именно на этой кодовой базе стартанули остальные форки. Те, кто строил аналитику на Greenplum, оказались перед развилкой. Сообщество разделилось: Apache Cloudberry (incubating) , Greengage DB от Arenadata, WarehousePG от EDB. Каждый форк продолжает линию, но в собственной траектории. У компании с боевым кластером появляется конкретный вопрос: переехать/остаться в одном из этих форков или мигрировать на принципиально другую платформу и архитектурную парадигму. Эта статья (сага из трёх эпизодов) будет полезна, если у вас уже есть Greenplum-кластер, вы понимаете его DDL/ETL/backup-процессы и хотите оценить, насколько болезненным будет переход на StarRocks.

    habr.com/ru/articles/1031358/

    #starrocks #Lakehouse #greenplum #sql #миграция_данных #субд #mpp #dwh #olap #etl

  9. New #openaccess publication #SciPost #Physics

    Quantum Calabi-Yau black holes and non-perturbative D0-brane effects

    Alberto Castellano, Dieter Lüst, Carmine Montella, Matteo Zatti
    SciPost Phys. 20, 127 (2026)
    scipost.org/SciPostPhys.20.5.1

    #UC #MPP #ACS

  10. New #openaccess publication #SciPost #Physics

    Quantum Calabi-Yau black holes and non-perturbative D0-brane effects

    Alberto Castellano, Dieter Lüst, Carmine Montella, Matteo Zatti
    SciPost Phys. 20, 127 (2026)
    scipost.org/SciPostPhys.20.5.1

    #UC #MPP #ACS

  11. New #openaccess publication #SciPost #Physics

    Quantum Calabi-Yau black holes and non-perturbative D0-brane effects

    Alberto Castellano, Dieter Lüst, Carmine Montella, Matteo Zatti
    SciPost Phys. 20, 127 (2026)
    scipost.org/SciPostPhys.20.5.1

    #UC #MPP #ACS

  12. New #openaccess publication #SciPost #Physics

    Quantum Calabi-Yau black holes and non-perturbative D0-brane effects

    Alberto Castellano, Dieter Lüst, Carmine Montella, Matteo Zatti
    SciPost Phys. 20, 127 (2026)
    scipost.org/SciPostPhys.20.5.1

    #UC #MPP #ACS

  13. New #openaccess publication #SciPost #Physics

    Quantum Calabi-Yau black holes and non-perturbative D0-brane effects

    Alberto Castellano, Dieter Lüst, Carmine Montella, Matteo Zatti
    SciPost Phys. 20, 127 (2026)
    scipost.org/SciPostPhys.20.5.1

    #UC #MPP #ACS

  14. Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

  15. Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

  16. Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

  17. Терабайты данных из Teradata в Trino — эффективный способ передачи

    Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

    habr.com/ru/companies/datasapi

    #trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

  18. New #openaccess publication #SciPost #Physics

    Physics case for low-sqrt{s} QCD studies at FCC-ee

    David d'Enterria, Pier Francesco Monni, Peter Skands, Andrii Verbytskyi
    SciPost Phys. 20, 092 (2026)
    scipost.org/SciPostPhys.20.3.0

    #MPP #CERN #MonashUniversity

  19. #MPP:
    "
    .. Francesca Capel und Nadine Bourriche .. haben eines der energiereichsten kosmischen Teilchen untersucht .."
    "
    ".. Ergebnisse deuten darauf hin, dass das Amaterasu-Teilchen eher in einer sternbildenden Galaxie wie M82 entstanden ist, anstatt in einer Region geringer Materiedichte wie dem Local Void .."

    mpp.mpg.de/aktuelles/meldungen

    5.2.2026

    #AmaterasuTeilchen #ApproximateBayesianComputation #Astrophysik #Astroteilchen #Physik #Strahlung #Teilchenphysik #Wahrscheinlichkeitskarte #Weltraum

  20. New #openaccess publication #SciPost #Physics Community Reports

    Modelling b¯bH production for the LHC at 13.6 TeV

    Christian Biello, Alessandro Gavardi, Rebecca von Kuk, Matthew A. Lim, Stefano Manzoni, Elena Mazzeo, Javier Mazzitelli, Aparna Sankar, Michael Spira, Frank J. Tackmann, Marius Wiesemann, Giulia Zanderighi, Marco Zaro
    SciPost Phys. Comm. Rep. 18 (2026)
    scipost.org/SciPostPhysCommRep

    #MPP #DESY #SussexUniversity #INFNMilano_Bicocca #UNIMIB #CERN #PSI #TUM #UNIMI #INFNMilano

  21. New #openaccess publication #SciPost #Physics

    Asymptotic safety, quantum gravity, and the swampland: A conceptual assessment

    Ivano Basile, Benjamin Knorr, Alessia Platania, Marc Schiffer
    SciPost Phys. 20, 027 (2026)
    scipost.org/SciPostPhys.20.2.0

    #LMU #MPP @uniheidelberg #NBI #RUN
    #MCU #NordForsk

  22. Инструмент перехвата медленных запросов StarRocks

    Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена.

    habr.com/ru/articles/983314/

    #StarRocks #медленные_запросы #slow_query #OLAP #MPP #full_table_scan #execution_plan #stream_load #Grafana

  23. Инструмент перехвата медленных запросов StarRocks

    Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена.

    habr.com/ru/articles/983314/

    #StarRocks #медленные_запросы #slow_query #OLAP #MPP #full_table_scan #execution_plan #stream_load #Grafana

  24. Инструмент перехвата медленных запросов StarRocks

    Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена.

    habr.com/ru/articles/983314/

    #StarRocks #медленные_запросы #slow_query #OLAP #MPP #full_table_scan #execution_plan #stream_load #Grafana

  25. Инструмент перехвата медленных запросов StarRocks

    Практическое руководство по построению сервиса перехвата медленных запросов в StarRocks: правила kill и пороги (full table scan, scan rows/bytes), анализ execution plan, интеграции с Grafana и Feishu, SQL-схемы и YAML-конфигурация для продакшена.

    habr.com/ru/articles/983314/

    #StarRocks #медленные_запросы #slow_query #OLAP #MPP #full_table_scan #execution_plan #stream_load #Grafana

  26. Trino в Авито два года спустя: от движка к полноценной экосистеме

    Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Avito . Уже третий год мы занимаемся миграцией с Vertica на Trino. Изначально казалось, что это будет просто: перенесём запросы, перепишем коннекторы, чуть подправим пайплайны. Но за два с лишним года миграция перестала быть просто миграцией: проект разросся в инженерную одиссею, и вокруг Trino мы начали строить целую экосистему. Как это было — рассказываю под катом.

    habr.com/ru/companies/avito/ar

    #dwh #lakehouse #trino #vertica #mpp #hive #iceberg #ceph #s3 #orc

  27. Есть ли жизнь после Vertica или миграция DWH в Lakehouse

    Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Последний раз мы подробно писали о нашей платформе почти четыре года назад — в статье «Эволюция хранилища данных в Авито» . С тех пор аналитическая платформа сильно изменилась — и по масштабу, и по сложности.

    habr.com/ru/companies/avito/ar

    #dwh #trino #vertica #mpp #аналитическая_платформа

  28. New #openaccess publication #SciPost #Physics Core

    A note on the Noether-Wald and generalized Komar charges

    Tomás Ortín, Matteo Zatti
    SciPost Phys. Core 8, 094 (2025)
    scipost.org/SciPostPhysCore.8.

    #IFT #MPP
    #AgenciaEstatalInvestigación

  29. Y aurait-il par chance quelqu'un d'entre vous qui habiterait à Arras et pourrait passer voir un jour de semaine en journée si un chantier situé à l'angle rue Louis Legay / rue des Rosati est en activité ou désert ? #MPP

  30. Понимание и практические эксперименты с Tablet в StarRocks

    внутренняя структура, репликации и балансировка, бакетизация и партиционирование, восстановление и MVCC, загрузка данных (Stream Load). Разбираем типичные сценарии и даём рекомендации для Data Engineers и DBAs.

    habr.com/ru/articles/970880/

    #StarRocks #Tablet #OLAP #MPP #репликация #балансировка #бакетизация #партиционирование #MVCC #Stream_Load

  31. Полное руководство по управлению привилегиями в StarRocks

    Статья — практическое руководство по управлению привилегиями в StarRocks: объектная модель (SYSTEM, CATALOG, DATABASE, TABLE, VIEW, MATERIALIZED VIEW, FUNCTION и др.), перечень привилегий для каждого типа сущности и соответствующие операции. Разбираем роль‑based доступ (RBAC): встроенные роли (root, cluster_admin, db_admin, user_admin, public), создание собственных ролей и выдачу прав через GRANT/REVOKE с наглядными SQL‑примерами. Отдельный блок — особенности StarRocks: ограничение ресурсов на пользователя (max_user_connections), роли по умолчанию и их активация при входе, массовая выдача прав через public, выполнение от имени другого пользователя (IMPERSONATE/EXECUTE AS). Материал полезен инженерам данных, DBA и разработчикам, работающим с OLAP/MPP‑СУБД и хранилищами данных, а также тем, кто внедряет контроль доступа в аналитических кластерах. Дополнительно освещены создание пользователей с разными методами аутентификации (включая LDAP), управление RESOURCE/RESOURCE GROUP, GLOBAL FUNCTION и STORAGE VOLUME, а также практики безопасной раздачи прав по ролям.

    habr.com/ru/articles/967608/

    #starrocks #привилегии #роли #rbac #grant #revoke #olap #mpp #dwh #безопасность_данных

  32. Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

    Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

    habr.com/ru/companies/datasapi

    #starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop