#shardman — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #shardman, aggregated by home.social.
-
Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
https://habr.com/ru/companies/rtlabs/articles/972482/
#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle
-
Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
https://habr.com/ru/companies/rtlabs/articles/972482/
#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle
-
Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
https://habr.com/ru/companies/rtlabs/articles/972482/
#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle
-
Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если: — вам на Госуслуги приходила пошлина на оплату нового загранпаспорта — вы получали уведомление о штрафе ГИБДД в банковском приложении — вы узнавали состояние своего единого налогового счёта (ЕНС) Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями. Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов. В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили. Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
https://habr.com/ru/companies/rtlabs/articles/972482/
#импортозамещение #базы_данных #большие_данные #shardman #postgres_pro #oracle
-
Shardman. Краткое пособие архитектора
Миф о волшебном параметре fast=true жив и здоров, но в распределённых СУБД появляется ещё один — distributed=true. Ни тот, ни другой не спасут, если не пересобрать схему, ключи шардирования, последовательности, запросы и процесс миграции. Мы трезво проходим по всем углам: от выбора ключей и colocated-таблиц до CDC, топологий и ограничений внешних ключей; показываем, где действительно ускорится, а где станет дороже — и что с этим делать.
https://habr.com/ru/companies/postgrespro/articles/939396/
#шардирование #шардинг #postgresql #база_данных #postgres_pro #shardman #postgres_pro_shardman
-
Shardman и Citus: как масштабировать СУБД Postgres Pro
Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать — остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по‑максимуму.
https://habr.com/ru/companies/postgrespro/articles/932572/
#масштабирование #shardman #citus #отказоустойчивость #шардирование
-
Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД
Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом. В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.