home.social

#greengage — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #greengage, aggregated by home.social.

fetched live
  1. ggrebalance: Часть 3. Выполнение ребаланса

    В статье рассматривается исполнительная часть утилиты ggrebalance: механизм физического перемещения primary- и mirror-сегментов между хостами кластера Greengage DB (open-source форк Greenplum), устройство конечного автомата ребаланса, отслеживание статусов операций, обработка сбоев и реентерабельность, откат перемещений, а также практические рекомендации по эксплуатации и итоговое сравнение с альтернативными инструментами.

    habr.com/ru/companies/greengag

    #postgresql #statemachine #reentrancy #rollback #downtime #greenplum #greengage #scalability #usage_scenarios #recovery

  2. ggrebalance: Часть 2. Планирование операции ребаланса

    В статье рассматривается планирование ребаланса кластера Greengage DB (open-source fork Greenplum) после shrink, декомиссии и добавления хостов: формальная модель размещения primary- и mirror-сегментов, минимизация числа перемещений, сравнение точных и эвристических алгоритмов и реализация планировщика в ggrebalance

    habr.com/ru/companies/greengag

    #postgresql #дискретная_оптимизация #масштабирование #хранилище_данных #state_machine #hardware_design #greengage #greenplum

  3. Мажорное обновление Greengage с помощью pg_upgrade и ggupgrade

    Разбираем мажорное обновление Greengage с версии 6 на 7: как работает pg_upgrade, какие шаги нужны для обновления кластера, чем помогает ggupgrade и какой выигрыш по времени дают копирование файлов и режим жестких ссылок.

    habr.com/ru/companies/greengag

    #greengage #postgresql #upgrade #major #обновление #обновление_бд #миграция_данных #миграция_бд #миграция_бд_на_postgresql #greenplum

  4. ggrebalance: Часть 1. Shrink

    В статье рассматривается shrink кластера Greengage DB с использованием ggrebalance: архитектура утилиты, FSM-подход, безопасное перераспределение данных через INSERT, сравнение с CTAS, поддержка rollback и результаты тестов производительности.

    habr.com/ru/companies/greengag

    #postgresql #scalability #shrink #масштабирование #хранилище_данных #gpexpand #state_machine #hardware_optimization #greengage #greenplum

  5. Apache Cloudberry — преемник Greenplum?

    Greenplum много лет был в опенсорсе на GitHub под лицензией Apache 2.0. Казалось бы, лицензия Apache 2.0, что может пойти не так? Осенью 2023 года репозиторий неожиданно перестал принимать наши пул‑реквесты. Все наши CLA отозвали, а новые не подтвердили без каких‑либо пояснений. А в мае 2024-го репозиторий был закрыт. Да, к опенсорс‑проекту могут потерять интерес — и он окажется заброшен. Но здесь, по сути, присвоили наши пул‑реквесты, изменив лицензию у кода, который мы написали, просто потому, что «ничего личного, это бизнес». Обстоятельства менялись, и вот — новые правила использования БД. Твои опыт и достижения либо присваиваются корпорацией, либо обнуляются. В этой статье попробую проанализировать, где вчерашние пользователи и контрибьюторы в Greenplum могут найти решения, у которых есть будущее.

    habr.com/ru/companies/yandex_c

    #greenplum #cloudberry #greengage #ymatrix #apache

  6. Shrink кластера и Iceberg-коннектор. Что нового?

    В этой статье мы поделимся некоторыми подробностями работы над новыми функциями Greengage, такими как shrink и expand кластера, улучшение вставки для foreign-таблиц и подготовка к интеграции с Apache Iceberg.

    habr.com/ru/companies/greengag

    #greengage #iceberg #scalability #foreign_data_wrapper #connector

  7. Резервирование кластера Greengage DB. Часть 2

    Подход к резервированию кластера Greengage , рассмотренный в предыдущей статье , был нацелен ознакомить читателей с некоторой базой знаний, необходимой для понимания того, как можно формировать резервные копии и в дальнейшем восстанавливаться из них. Также был рассмотрен вариант утилиты, которая реализует данный подход на практике. Однако все предыдущие рассуждения предполагали "идеальные условия", то есть не учитывали возможные сбои или влияние сторонних процессов. Теперь же мы готовы перейти к следующему этапу, а именно рассмотреть ряд сценариев, которые встречаются на практике и которые надо учитывать при резервировании кластера Greengage.

    habr.com/ru/companies/greengag

    #greengage #резервное_копирование #postgres #pgbackrest #распределенные_системы

  8. Удаление брошенных файлов в Greengage DB

    В этой статье рассказываем о том, как мы решили проблему удаления брошенных файлов — файлов данных, которые не ассоциированы ни с одной из имеющихся в базе данных таблиц, но могут оставаться на файловой системе после аварийного завершения процессов.

    habr.com/ru/companies/greengag

    #greenplum #greengage #postgresql

  9. Резервирование кластера Greengage DB (на базе Greenplum OSS)

    Greengage DB — это массивно-параллельная реляционная СУБД на базе Greenplum OSS, которая подходит для хранения и обработки данных. Позволяет выполнять сложные аналитические запросы над большими объёмами данных, предоставляя к ним гетерогенный доступ за счёт различного рода коннекторов и средств интеграции. Но помимо функциональных возможностей, есть и ряд других необходимых вещей, таких как мониторинг, аудит, резервирование и пр. Они требуются для обеспечения полноценной и надёжной работы системы, особенно если речь идёт о промышленной эксплуатации. В рамках данной статьи как раз хочется обсудить подход к резервированию кластера Greengage: какие тут есть возможности, каковы подводные камни и многое другое.

    habr.com/ru/companies/greengag

    #greengage #greenplum #backups #cluster_management #restore