#репликация — Public Fediverse posts

[Перевод] MariaDB 12.3: binlog внутри InnoDB

Коротко для ленивых В MariaDB 12.3 binlog можно хранить внутри InnoDB через binlog_storage_engine=innodb . Главный эффект: вместо двух fsync() на commit остаётся один, поэтому на write-heavy нагрузке резко растут TPS и снижается tail latency. В тестах из статьи прирост на полном durability-профиле составил примерно 2.4x–3.3x . Backup, restore и ресинк реплик становятся проще, потому что binlog и данные теперь консистентны на уровне одного механизма хранения. Цена за это: обязателен GTID, Galera пока не поддерживается, а innodb_log_file_size нужно подбирать внимательнее из-за роста объёма redo. Если у вас обычная схема primary + async replica на InnoDB, эту возможность точно стоит хотя бы протестировать.

https://habr.com/ru/articles/1011298/

#MariaDB_123 #InnoDB #binlog #GTID #репликация #производительность_SQL #crash_recovery #fsync #OLTP

[Перевод] MariaDB 12.3: binlog внутри InnoDB

Коротко для ленивых В MariaDB 12.3 binlog можно хранить внутри InnoDB через binlog_storage_engine=innodb . Главный эффект: вместо двух fsync() на commit остаётся один, поэтому на write-heavy нагрузке резко растут TPS и снижается tail latency. В тестах из статьи прирост на полном durability-профиле составил примерно 2.4x–3.3x . Backup, restore и ресинк реплик становятся проще, потому что binlog и данные теперь консистентны на уровне одного механизма хранения. Цена за это: обязателен GTID, Galera пока не поддерживается, а innodb_log_file_size нужно подбирать внимательнее из-за роста объёма redo. Если у вас обычная схема primary + async replica на InnoDB, эту возможность точно стоит хотя бы протестировать.

https://habr.com/ru/articles/1011298/

#MariaDB_123 #InnoDB #binlog #GTID #репликация #производительность_SQL #crash_recovery #fsync #OLTP

[Перевод] MariaDB 12.3: binlog внутри InnoDB

Коротко для ленивых В MariaDB 12.3 binlog можно хранить внутри InnoDB через binlog_storage_engine=innodb . Главный эффект: вместо двух fsync() на commit остаётся один, поэтому на write-heavy нагрузке резко растут TPS и снижается tail latency. В тестах из статьи прирост на полном durability-профиле составил примерно 2.4x–3.3x . Backup, restore и ресинк реплик становятся проще, потому что binlog и данные теперь консистентны на уровне одного механизма хранения. Цена за это: обязателен GTID, Galera пока не поддерживается, а innodb_log_file_size нужно подбирать внимательнее из-за роста объёма redo. Если у вас обычная схема primary + async replica на InnoDB, эту возможность точно стоит хотя бы протестировать.

https://habr.com/ru/articles/1011298/

#MariaDB_123 #InnoDB #binlog #GTID #репликация #производительность_SQL #crash_recovery #fsync #OLTP

[Перевод] MariaDB 12.3: binlog внутри InnoDB

Коротко для ленивых В MariaDB 12.3 binlog можно хранить внутри InnoDB через binlog_storage_engine=innodb . Главный эффект: вместо двух fsync() на commit остаётся один, поэтому на write-heavy нагрузке резко растут TPS и снижается tail latency. В тестах из статьи прирост на полном durability-профиле составил примерно 2.4x–3.3x . Backup, restore и ресинк реплик становятся проще, потому что binlog и данные теперь консистентны на уровне одного механизма хранения. Цена за это: обязателен GTID, Galera пока не поддерживается, а innodb_log_file_size нужно подбирать внимательнее из-за роста объёма redo. Если у вас обычная схема primary + async replica на InnoDB, эту возможность точно стоит хотя бы протестировать.

https://habr.com/ru/articles/1011298/

#MariaDB_123 #InnoDB #binlog #GTID #репликация #производительность_SQL #crash_recovery #fsync #OLTP

Как мы нашли своё решение для миграции и репликации данных в РСХБ

Привет, Хабр! Я Владимир, архитектор департамента больших данных в РСХБ. В команде РСХБ.Цифра руковожу проектом по внедрению решения для CDC-репликации данных на базе отечественного программного продукта Датафлот Репликация. Наступила эпоха импортозамещения, и в последние годы большинство компаний столкнулось с необходимостью отказаться от привычных классических инструментов и архитектурных решений. Для нас, Россельхозбанка, 100% которого принадлежат государству, по очевидным причинам проблема импортозамещения особенно актуальна. Нашей целью было обеспечить бесшовное переключение систем с замещаемых СУБД, миграция их данных, замена cdc-инструментов поставки данных в ХД в рамках задачи импортозамещения иностранного ПО в банке.В этой статье расскажу про наш подход к этому вопросу с практической точки зрения. Про и контра — с точки зрения не маркетинговых фраз, а сугубо практического «вам шашечки или ехать?». Возможно, не все согласятся с приведёнными критериями и аргументами, что повлечёт холивары в комментах, но… тем лучше. Будет больше осознанности при выборе правильного решения.

https://habr.com/ru/companies/rshb/articles/1010760/

#CDCрешение #импортозамещение #Postgess #репликация #миграция_данных #sql #lowcode

Как мы нашли своё решение для миграции и репликации данных в РСХБ

Привет, Хабр! Я Владимир, архитектор департамента больших данных в РСХБ. В команде РСХБ.Цифра руковожу проектом по внедрению решения для CDC-репликации данных на базе отечественного программного продукта Датафлот Репликация. Наступила эпоха импортозамещения, и в последние годы большинство компаний столкнулось с необходимостью отказаться от привычных классических инструментов и архитектурных решений. Для нас, Россельхозбанка, 100% которого принадлежат государству, по очевидным причинам проблема импортозамещения особенно актуальна. Нашей целью было обеспечить бесшовное переключение систем с замещаемых СУБД, миграция их данных, замена cdc-инструментов поставки данных в ХД в рамках задачи импортозамещения иностранного ПО в банке.В этой статье расскажу про наш подход к этому вопросу с практической точки зрения. Про и контра — с точки зрения не маркетинговых фраз, а сугубо практического «вам шашечки или ехать?». Возможно, не все согласятся с приведёнными критериями и аргументами, что повлечёт холивары в комментах, но… тем лучше. Будет больше осознанности при выборе правильного решения.

https://habr.com/ru/companies/rshb/articles/1010760/

#CDCрешение #импортозамещение #Postgess #репликация #миграция_данных #sql #lowcode

Как мы нашли своё решение для миграции и репликации данных в РСХБ

Привет, Хабр! Я Владимир, архитектор департамента больших данных в РСХБ. В команде РСХБ.Цифра руковожу проектом по внедрению решения для CDC-репликации данных на базе отечественного программного продукта Датафлот Репликация. Наступила эпоха импортозамещения, и в последние годы большинство компаний столкнулось с необходимостью отказаться от привычных классических инструментов и архитектурных решений. Для нас, Россельхозбанка, 100% которого принадлежат государству, по очевидным причинам проблема импортозамещения особенно актуальна. Нашей целью было обеспечить бесшовное переключение систем с замещаемых СУБД, миграция их данных, замена cdc-инструментов поставки данных в ХД в рамках задачи импортозамещения иностранного ПО в банке.В этой статье расскажу про наш подход к этому вопросу с практической точки зрения. Про и контра — с точки зрения не маркетинговых фраз, а сугубо практического «вам шашечки или ехать?». Возможно, не все согласятся с приведёнными критериями и аргументами, что повлечёт холивары в комментах, но… тем лучше. Будет больше осознанности при выборе правильного решения.

https://habr.com/ru/companies/rshb/articles/1010760/

#CDCрешение #импортозамещение #Postgess #репликация #миграция_данных #sql #lowcode

Как мы нашли своё решение для миграции и репликации данных в РСХБ

Привет, Хабр! Я Владимир, архитектор департамента больших данных в РСХБ. В команде РСХБ.Цифра руковожу проектом по внедрению решения для CDC-репликации данных на базе отечественного программного продукта Датафлот Репликация. Наступила эпоха импортозамещения, и в последние годы большинство компаний столкнулось с необходимостью отказаться от привычных классических инструментов и архитектурных решений. Для нас, Россельхозбанка, 100% которого принадлежат государству, по очевидным причинам проблема импортозамещения особенно актуальна. Нашей целью было обеспечить бесшовное переключение систем с замещаемых СУБД, миграция их данных, замена cdc-инструментов поставки данных в ХД в рамках задачи импортозамещения иностранного ПО в банке.В этой статье расскажу про наш подход к этому вопросу с практической точки зрения. Про и контра — с точки зрения не маркетинговых фраз, а сугубо практического «вам шашечки или ехать?». Возможно, не все согласятся с приведёнными критериями и аргументами, что повлечёт холивары в комментах, но… тем лучше. Будет больше осознанности при выборе правильного решения.

https://habr.com/ru/companies/rshb/articles/1010760/

#CDCрешение #импортозамещение #Postgess #репликация #миграция_данных #sql #lowcode

Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB (СУБД Яндекса) и перестать считать подключения к шардам

Привет, Хабр! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже писал на Хабре про архитектуру платформы, рассказывал на «Хайлоаде» (и на Хабре ) про шардирование и миграцию на YDB . Эта статья написана по мотивам последнего доклада. В ней я рассказываю не о самой миграции (ну мигрировали и мигрировали, этим сейчас никого не удивишь), а о её причинах. Дело в том, что PostgreSQL — потрясающая система. Инженерное чудо, позволяющее сейчас нескольким разработчикам собирать системы, для которых всего пару десятков лет назад потребовалась бы команда архитекторов и контракт с вендором. Но, разрабатывая любую систему, программисты пишут код, который лучше всего работает в ожидаемых сценариях. Эта статья о том, с какими ограничениями PostgreSQL сталкиваются системы масштаба Яндекс Такси при росте. Я расскажу про время выбора нового мастера при репликации, лимиты количества соединений, разработку холодного хранилища. В моём рассказе переход на YDB — это в первую очередь смена одних ожидаемых сценариев работы на другие. Со своими последствиями, компромиссами, необходимостью адаптировать и переписывать код.

https://habr.com/ru/companies/ydb/articles/1001532/

#ydb #postgresql #репликация #шардирование #highload

Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB (СУБД Яндекса) и перестать считать подключения к шардам

Привет, Хабр! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже писал на Хабре про архитектуру платформы, рассказывал на «Хайлоаде» (и на Хабре ) про шардирование и миграцию на YDB . Эта статья написана по мотивам последнего доклада. В ней я рассказываю не о самой миграции (ну мигрировали и мигрировали, этим сейчас никого не удивишь), а о её причинах. Дело в том, что PostgreSQL — потрясающая система. Инженерное чудо, позволяющее сейчас нескольким разработчикам собирать системы, для которых всего пару десятков лет назад потребовалась бы команда архитекторов и контракт с вендором. Но, разрабатывая любую систему, программисты пишут код, который лучше всего работает в ожидаемых сценариях. Эта статья о том, с какими ограничениями PostgreSQL сталкиваются системы масштаба Яндекс Такси при росте. Я расскажу про время выбора нового мастера при репликации, лимиты количества соединений, разработку холодного хранилища. В моём рассказе переход на YDB — это в первую очередь смена одних ожидаемых сценариев работы на другие. Со своими последствиями, компромиссами, необходимостью адаптировать и переписывать код.

https://habr.com/ru/companies/ydb/articles/1001532/

#ydb #postgresql #репликация #шардирование #highload

Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB (СУБД Яндекса) и перестать считать подключения к шардам

Привет, Хабр! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже писал на Хабре про архитектуру платформы, рассказывал на «Хайлоаде» (и на Хабре ) про шардирование и миграцию на YDB . Эта статья написана по мотивам последнего доклада. В ней я рассказываю не о самой миграции (ну мигрировали и мигрировали, этим сейчас никого не удивишь), а о её причинах. Дело в том, что PostgreSQL — потрясающая система. Инженерное чудо, позволяющее сейчас нескольким разработчикам собирать системы, для которых всего пару десятков лет назад потребовалась бы команда архитекторов и контракт с вендором. Но, разрабатывая любую систему, программисты пишут код, который лучше всего работает в ожидаемых сценариях. Эта статья о том, с какими ограничениями PostgreSQL сталкиваются системы масштаба Яндекс Такси при росте. Я расскажу про время выбора нового мастера при репликации, лимиты количества соединений, разработку холодного хранилища. В моём рассказе переход на YDB — это в первую очередь смена одних ожидаемых сценариев работы на другие. Со своими последствиями, компромиссами, необходимостью адаптировать и переписывать код.

https://habr.com/ru/companies/ydb/articles/1001532/

#ydb #postgresql #репликация #шардирование #highload

Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB (СУБД Яндекса) и перестать считать подключения к шардам

Привет, Хабр! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже писал на Хабре про архитектуру платформы, рассказывал на «Хайлоаде» (и на Хабре ) про шардирование и миграцию на YDB . Эта статья написана по мотивам последнего доклада. В ней я рассказываю не о самой миграции (ну мигрировали и мигрировали, этим сейчас никого не удивишь), а о её причинах. Дело в том, что PostgreSQL — потрясающая система. Инженерное чудо, позволяющее сейчас нескольким разработчикам собирать системы, для которых всего пару десятков лет назад потребовалась бы команда архитекторов и контракт с вендором. Но, разрабатывая любую систему, программисты пишут код, который лучше всего работает в ожидаемых сценариях. Эта статья о том, с какими ограничениями PostgreSQL сталкиваются системы масштаба Яндекс Такси при росте. Я расскажу про время выбора нового мастера при репликации, лимиты количества соединений, разработку холодного хранилища. В моём рассказе переход на YDB — это в первую очередь смена одних ожидаемых сценариев работы на другие. Со своими последствиями, компромиссами, необходимостью адаптировать и переписывать код.

https://habr.com/ru/companies/ydb/articles/1001532/

#ydb #postgresql #репликация #шардирование #highload

Механизмы репликации в РЕД АДМ «под капотом». Разбираемся в логике и процессах

Привет, Хабр! На связи снова Дмитрий, инженер по инфраструктурным решениям РЕД СОФТ. В прошлой статье мы разбирали, как настроить службу каталогов РЕД АДМ в ручном режиме, а также рассматривали самые распространённые ошибки в этом процессе. А в сегодняшней статье я постараюсь дать ответ, пожалуй, на весьма сложный вопрос — как работает репликация в РЕД АДМ «под капотом». Эта статья — больше технический обзор, чем какой-либо чек-лист или инструкция. Мы дотошно пройдёмся по каждому этапу репликации. Я расскажу, что означают сообщения в терминале и подскажу, как на них реагировать. Материал будет интересен всем, кто хочет разобраться во внутренних процессах репликации: её логике, командах и функциях.

https://habr.com/ru/companies/redsoft/articles/980356/

#microsoft_acrive_directory #ред_адм #миграция_итинфраструктуры #контроллер_домена #импортозамещение #редсофт #репликация #домен #redsoft #руссофт

Механизмы репликации в РЕД АДМ «под капотом». Разбираемся в логике и процессах

Привет, Хабр! На связи снова Дмитрий, инженер по инфраструктурным решениям РЕД СОФТ. В прошлой статье мы разбирали, как настроить службу каталогов РЕД АДМ в ручном режиме, а также рассматривали самые распространённые ошибки в этом процессе. А в сегодняшней статье я постараюсь дать ответ, пожалуй, на весьма сложный вопрос — как работает репликация в РЕД АДМ «под капотом». Эта статья — больше технический обзор, чем какой-либо чек-лист или инструкция. Мы дотошно пройдёмся по каждому этапу репликации. Я расскажу, что означают сообщения в терминале и подскажу, как на них реагировать. Материал будет интересен всем, кто хочет разобраться во внутренних процессах репликации: её логике, командах и функциях.

https://habr.com/ru/companies/redsoft/articles/980356/

#microsoft_acrive_directory #ред_адм #миграция_итинфраструктуры #контроллер_домена #импортозамещение #редсофт #репликация #домен #redsoft #руссофт

Механизмы репликации в РЕД АДМ «под капотом». Разбираемся в логике и процессах

Привет, Хабр! На связи снова Дмитрий, инженер по инфраструктурным решениям РЕД СОФТ. В прошлой статье мы разбирали, как настроить службу каталогов РЕД АДМ в ручном режиме, а также рассматривали самые распространённые ошибки в этом процессе. А в сегодняшней статье я постараюсь дать ответ, пожалуй, на весьма сложный вопрос — как работает репликация в РЕД АДМ «под капотом». Эта статья — больше технический обзор, чем какой-либо чек-лист или инструкция. Мы дотошно пройдёмся по каждому этапу репликации. Я расскажу, что означают сообщения в терминале и подскажу, как на них реагировать. Материал будет интересен всем, кто хочет разобраться во внутренних процессах репликации: её логике, командах и функциях.

https://habr.com/ru/companies/redsoft/articles/980356/

#microsoft_acrive_directory #ред_адм #миграция_итинфраструктуры #контроллер_домена #импортозамещение #редсофт #репликация #домен #redsoft #руссофт

Механизмы репликации в РЕД АДМ «под капотом». Разбираемся в логике и процессах

Привет, Хабр! На связи снова Дмитрий, инженер по инфраструктурным решениям РЕД СОФТ. В прошлой статье мы разбирали, как настроить службу каталогов РЕД АДМ в ручном режиме, а также рассматривали самые распространённые ошибки в этом процессе. А в сегодняшней статье я постараюсь дать ответ, пожалуй, на весьма сложный вопрос — как работает репликация в РЕД АДМ «под капотом». Эта статья — больше технический обзор, чем какой-либо чек-лист или инструкция. Мы дотошно пройдёмся по каждому этапу репликации. Я расскажу, что означают сообщения в терминале и подскажу, как на них реагировать. Материал будет интересен всем, кто хочет разобраться во внутренних процессах репликации: её логике, командах и функциях.

https://habr.com/ru/companies/redsoft/articles/980356/

#microsoft_acrive_directory #ред_адм #миграция_итинфраструктуры #контроллер_домена #импортозамещение #редсофт #репликация #домен #redsoft #руссофт

Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е

Если вы используете nofailover: true (а многие так и делают), Patroni не синхронизирует слоты логической репликации — и при переходе на реплику часть данных может исчезнуть навсегда. Рассказываем, почему и как фиксить.

https://habr.com/ru/companies/flant/articles/978322/

#patroni #postgresql #sql #бд #failover #репликация #асинхронная_репликация #логическая_репликация #nofailover #потеря_данных

Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е

Если вы используете nofailover: true (а многие так и делают), Patroni не синхронизирует слоты логической репликации — и при переходе на реплику часть данных может исчезнуть навсегда. Рассказываем, почему и как фиксить.

https://habr.com/ru/companies/flant/articles/978322/

#patroni #postgresql #sql #бд #failover #репликация #асинхронная_репликация #логическая_репликация #nofailover #потеря_данных

Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е

Если вы используете nofailover: true (а многие так и делают), Patroni не синхронизирует слоты логической репликации — и при переходе на реплику часть данных может исчезнуть навсегда. Рассказываем, почему и как фиксить.

https://habr.com/ru/companies/flant/articles/978322/

#patroni #postgresql #sql #бд #failover #репликация #асинхронная_репликация #логическая_репликация #nofailover #потеря_данных

Patroni и логическая реплика в PostgreSQL: как не потерять данные при failover’е

Если вы используете nofailover: true (а многие так и делают), Patroni не синхронизирует слоты логической репликации — и при переходе на реплику часть данных может исчезнуть навсегда. Рассказываем, почему и как фиксить.

https://habr.com/ru/companies/flant/articles/978322/

#patroni #postgresql #sql #бд #failover #репликация #асинхронная_репликация #логическая_репликация #nofailover #потеря_данных

Как защитить сервисы от вирусов-шифровальщиков при помощи MIND Guard #guest

“ Администраторы делятся на три категории - тех, кто еще не делает бекапы, тех, кто уже делает, и тех, кто уже проверяет бекапы. ” Когда речь заходит о необходимости защиты данных сервисов и приложений, на ум в первую очередь приходит резервное копирование и репликация. Наличие копии вселяет ложное чувство уверенности: «у нас есть копия = мы в безопасности». Здесь кроется ловушка: резервное копирование позволяет восстановиться после сбоев, которые легко распознать, например, от физических отказов - выхода из строя диска, случайного удаления тома, сбоя узла.

https://habr.com/ru/companies/mind_software/articles/971392/

#MIND_Suite #MIND_Guard #вирусышифровальщики #целостность_данных #защита_данных #защита_сервисов #Репликация #отказоустойчивость #катастрофоусточивая_защита

Как защитить сервисы от вирусов-шифровальщиков при помощи MIND Guard #guest

“ Администраторы делятся на три категории - тех, кто еще не делает бекапы, тех, кто уже делает, и тех, кто уже проверяет бекапы. ” Когда речь заходит о необходимости защиты данных сервисов и приложений, на ум в первую очередь приходит резервное копирование и репликация. Наличие копии вселяет ложное чувство уверенности: «у нас есть копия = мы в безопасности». Здесь кроется ловушка: резервное копирование позволяет восстановиться после сбоев, которые легко распознать, например, от физических отказов - выхода из строя диска, случайного удаления тома, сбоя узла.

https://habr.com/ru/companies/mind_software/articles/971392/

#MIND_Suite #MIND_Guard #вирусышифровальщики #целостность_данных #защита_данных #защита_сервисов #Репликация #отказоустойчивость #катастрофоусточивая_защита

Как защитить сервисы от вирусов-шифровальщиков при помощи MIND Guard #guest

“ Администраторы делятся на три категории - тех, кто еще не делает бекапы, тех, кто уже делает, и тех, кто уже проверяет бекапы. ” Когда речь заходит о необходимости защиты данных сервисов и приложений, на ум в первую очередь приходит резервное копирование и репликация. Наличие копии вселяет ложное чувство уверенности: «у нас есть копия = мы в безопасности». Здесь кроется ловушка: резервное копирование позволяет восстановиться после сбоев, которые легко распознать, например, от физических отказов - выхода из строя диска, случайного удаления тома, сбоя узла.

https://habr.com/ru/companies/mind_software/articles/971392/

#MIND_Suite #MIND_Guard #вирусышифровальщики #целостность_данных #защита_данных #защита_сервисов #Репликация #отказоустойчивость #катастрофоусточивая_защита

Как защитить сервисы от вирусов-шифровальщиков при помощи MIND Guard #guest

“ Администраторы делятся на три категории - тех, кто еще не делает бекапы, тех, кто уже делает, и тех, кто уже проверяет бекапы. ” Когда речь заходит о необходимости защиты данных сервисов и приложений, на ум в первую очередь приходит резервное копирование и репликация. Наличие копии вселяет ложное чувство уверенности: «у нас есть копия = мы в безопасности». Здесь кроется ловушка: резервное копирование позволяет восстановиться после сбоев, которые легко распознать, например, от физических отказов - выхода из строя диска, случайного удаления тома, сбоя узла.

https://habr.com/ru/companies/mind_software/articles/971392/

#MIND_Suite #MIND_Guard #вирусышифровальщики #целостность_данных #защита_данных #защита_сервисов #Репликация #отказоустойчивость #катастрофоусточивая_защита

Понимание и практические эксперименты с Tablet в StarRocks

внутренняя структура, репликации и балансировка, бакетизация и партиционирование, восстановление и MVCC, загрузка данных (Stream Load). Разбираем типичные сценарии и даём рекомендации для Data Engineers и DBAs.

https://habr.com/ru/articles/970880/

#StarRocks #Tablet #OLAP #MPP #репликация #балансировка #бакетизация #партиционирование #MVCC #Stream_Load

Понимание и практические эксперименты с Tablet в StarRocks

внутренняя структура, репликации и балансировка, бакетизация и партиционирование, восстановление и MVCC, загрузка данных (Stream Load). Разбираем типичные сценарии и даём рекомендации для Data Engineers и DBAs.

https://habr.com/ru/articles/970880/

#StarRocks #Tablet #OLAP #MPP #репликация #балансировка #бакетизация #партиционирование #MVCC #Stream_Load

Понимание и практические эксперименты с Tablet в StarRocks

внутренняя структура, репликации и балансировка, бакетизация и партиционирование, восстановление и MVCC, загрузка данных (Stream Load). Разбираем типичные сценарии и даём рекомендации для Data Engineers и DBAs.

https://habr.com/ru/articles/970880/

#StarRocks #Tablet #OLAP #MPP #репликация #балансировка #бакетизация #партиционирование #MVCC #Stream_Load

Понимание и практические эксперименты с Tablet в StarRocks

внутренняя структура, репликации и балансировка, бакетизация и партиционирование, восстановление и MVCC, загрузка данных (Stream Load). Разбираем типичные сценарии и даём рекомендации для Data Engineers и DBAs.

https://habr.com/ru/articles/970880/

#StarRocks #Tablet #OLAP #MPP #репликация #балансировка #бакетизация #партиционирование #MVCC #Stream_Load

Обзор Moco — MySQL-оператора для Kubernetes

В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию. В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.

https://habr.com/ru/companies/flant/articles/969520/

#moco #sql #MySQLоператор #mysql #Полусинхронная_репликация #репликация #MySQLкластер #согласованность_данных #gtid

Обзор Moco — MySQL-оператора для Kubernetes

В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию. В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.

https://habr.com/ru/companies/flant/articles/969520/

#moco #sql #MySQLоператор #mysql #Полусинхронная_репликация #репликация #MySQLкластер #согласованность_данных #gtid

Обзор Moco — MySQL-оператора для Kubernetes

В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию. В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.

https://habr.com/ru/companies/flant/articles/969520/

#moco #sql #MySQLоператор #mysql #Полусинхронная_репликация #репликация #MySQLкластер #согласованность_данных #gtid

Обзор Moco — MySQL-оператора для Kubernetes

В Kubernetes короткий жизненный цикл подов — норма. Но когда лидер-узел MySQL внезапно исчезает, рискуешь потерять не только доступность, но и согласованность данных. Оператор Moco предлагает решение: полусинхронная репликация, автоматический failover и восстановление с PITR — всё это без боли миграции на полностью синхронную репликацию. В статье — детали репликации, бэкапов, PITR, switchover и нюансов работы с пользовательскими образами. А также честно — чем он лучше (и хуже) альтернатив, и стоит ли его рассматривать для продакшена.

https://habr.com/ru/companies/flant/articles/969520/

#moco #sql #MySQLоператор #mysql #Полусинхронная_репликация #репликация #MySQLкластер #согласованность_данных #gtid

[Перевод] Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий. Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат. В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.

https://habr.com/ru/companies/hstx/articles/949622/

#хранилище #хранилище_данных #хранилище_медицинских_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость

[Перевод] Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий. Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат. В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.

https://habr.com/ru/companies/hstx/articles/949622/

#хранилище #хранилище_данных #хранилище_медицинских_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость

[Перевод] Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий. Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат. В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.

https://habr.com/ru/companies/hstx/articles/949622/

#хранилище #хранилище_данных #хранилище_медицинских_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость

[Перевод] Стратегии управляемых облачных сервисов: ключевые уроки и примеры из практики ведущих предприятий

Перевод статьи Аамира Афтаба, где автор разбирает стратегии внедрения управляемых облачных сервисов, ключевые ошибки и лучшие практики корпоративной облачной трансформации на примере реального кейса сервиса по подбору специалистов в сфере здравоохранения и технологий. Внедрение облачных технологий — это не просто обновление технологий, а необходимое изменение мышления, операционной деятельности и культуры. Лучшие компании рассматривают облако как инструмент расширения, гибкости и надежности, а не просто инструмент снижения затрат. В данной статье рассматриваются уроки ведущих компаний с акцентом на регулярно наблюдаемые закономерности и факторы успеха, а также факторы неудач и стратегии, которые следует использовать для достижения успешной облачной трансформации.

https://habr.com/ru/companies/hstx/articles/949622/

#хранилище #хранилище_данных #хранилище_медицинских_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость

[Перевод] Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры. Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре. Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году. Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

https://habr.com/ru/companies/hstx/articles/947190/

#хранилище #хранилище_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость #облако #edge #serverless

[Перевод] Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры. Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре. Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году. Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

https://habr.com/ru/companies/hstx/articles/947190/

#хранилище #хранилище_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость #облако #edge #serverless

[Перевод] Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры. Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре. Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году. Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

https://habr.com/ru/companies/hstx/articles/947190/

#хранилище #хранилище_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость #облако #edge #serverless

[Перевод] Облачные вычисления в 2025 году: рост ИИ приводит к революции на рынке объемом $723 млрд

Перевод статьи Патрика Косса о том, как ИИ, edge-компьютинг, serverless и мультиоблачные стратегии меняют облачную инфраструктуру. Автор подчеркивает, что речь идет не о постепенной эволюции, а о настоящей трансформации, которая уже влияет на стратегию крупнейших компаний и задаёт новые правила игры. Индустрия облачных вычислений переживает свой самый трансформационный период: интеграция искусственного интеллекта стимулирует беспрецедентный рост и меняет то, как компании подходят к цифровой инфраструктуре. Новые данные показывают, что глобальные расходы на публичные облачные сервисы достигнут $723,4 млрд в 2025 году, что составляет рост на 21% по сравнению с $595,7 млрд в 2024 году. Этот всплеск связан с тем, что всё больше организаций обращаются к облачным сервисам с поддержкой ИИ: уже 72% компаний используют платформы генеративного ИИ, и эта тенденция кардинально меняет распределение ресурсов и стратегические приоритеты в разных отраслях.

https://habr.com/ru/companies/hstx/articles/947190/

#хранилище #хранилище_данных #бэкап #восстановление_данных #репликация #rto #отказоустойчивость #облако #edge #serverless

Никакого наития, только полный контроль. Как построить эффективную стратегию бэкапа с Хайстекс Акура и S3-хранилищем

Привет Хабр! Меня зовут Юлия Воробьева, и уже больше 10 лет я занимаюсь тестированием. За это время успела поработать в проектах, связанных с восстановлением, миграцией и резервным копированием данных. Я много занимаюсь облачными технологиями и получаю от этого настоящее удовольствие. Последние 6 лет я работаю в компании Хайстекс, где продукт и задачи позволяют мне не просто тестировать, а прокачивать экспертизу и при этом сохранять интерес к облачным решениям. В этой статье расскажу, как мы настроили, внедрили и протестировали резервное копирование с решением Хайстекс Акура и S3-хранилищем от Selectel, на основе реальных требований и возможностей компании-клиента. Покажу, как это выглядит на практике глазами QA. Не претендую на универсальный рецепт, но подробно опишу, как мы упростили восстановление тестовой среды, сэкономили время и перестали бояться, что важные данные потеряются после очередного сбоя. Разберу всё по шагам: как настраивали, что сработало, где пришлось доработать и какие выводы сделали в итоге. Если вам интересно, как внедрить надежный бэкап всех данных у себя в компании, встретимся под катом. Там же ссылка на вебинар для тех, кому ближе видеоформат. Разбор по шагам

https://habr.com/ru/companies/hstx/articles/940504/

#хайстекс #акура #s3_хранилище #бэкап #selectel #восстановление_данных #репликация #rto #отказоустойчивость #облако

Никакого наития, только полный контроль. Как построить эффективную стратегию бэкапа с Хайстекс Акура и S3-хранилищем

Привет Хабр! Меня зовут Юлия Воробьева, и уже больше 10 лет я занимаюсь тестированием. За это время успела поработать в проектах, связанных с восстановлением, миграцией и резервным копированием данных. Я много занимаюсь облачными технологиями и получаю от этого настоящее удовольствие. Последние 6 лет я работаю в компании Хайстекс, где продукт и задачи позволяют мне не просто тестировать, а прокачивать экспертизу и при этом сохранять интерес к облачным решениям. В этой статье расскажу, как мы настроили, внедрили и протестировали резервное копирование с решением Хайстекс Акура и S3-хранилищем от Selectel, на основе реальных требований и возможностей компании-клиента. Покажу, как это выглядит на практике глазами QA. Не претендую на универсальный рецепт, но подробно опишу, как мы упростили восстановление тестовой среды, сэкономили время и перестали бояться, что важные данные потеряются после очередного сбоя. Разберу всё по шагам: как настраивали, что сработало, где пришлось доработать и какие выводы сделали в итоге. Если вам интересно, как внедрить надежный бэкап всех данных у себя в компании, встретимся под катом. Там же ссылка на вебинар для тех, кому ближе видеоформат. Разбор по шагам

https://habr.com/ru/companies/hstx/articles/940504/

#хайстекс #акура #s3_хранилище #бэкап #selectel #восстановление_данных #репликация #rto #отказоустойчивость #облако

Никакого наития, только полный контроль. Как построить эффективную стратегию бэкапа с Хайстекс Акура и S3-хранилищем

Привет Хабр! Меня зовут Юлия Воробьева, и уже больше 10 лет я занимаюсь тестированием. За это время успела поработать в проектах, связанных с восстановлением, миграцией и резервным копированием данных. Я много занимаюсь облачными технологиями и получаю от этого настоящее удовольствие. Последние 6 лет я работаю в компании Хайстекс, где продукт и задачи позволяют мне не просто тестировать, а прокачивать экспертизу и при этом сохранять интерес к облачным решениям. В этой статье расскажу, как мы настроили, внедрили и протестировали резервное копирование с решением Хайстекс Акура и S3-хранилищем от Selectel, на основе реальных требований и возможностей компании-клиента. Покажу, как это выглядит на практике глазами QA. Не претендую на универсальный рецепт, но подробно опишу, как мы упростили восстановление тестовой среды, сэкономили время и перестали бояться, что важные данные потеряются после очередного сбоя. Разберу всё по шагам: как настраивали, что сработало, где пришлось доработать и какие выводы сделали в итоге. Если вам интересно, как внедрить надежный бэкап всех данных у себя в компании, встретимся под катом. Там же ссылка на вебинар для тех, кому ближе видеоформат. Разбор по шагам

https://habr.com/ru/companies/hstx/articles/940504/

#хайстекс #акура #s3_хранилище #бэкап #selectel #восстановление_данных #репликация #rto #отказоустойчивость #облако

Никакого наития, только полный контроль. Как построить эффективную стратегию бэкапа с Хайстекс Акура и S3-хранилищем

Привет Хабр! Меня зовут Юлия Воробьева, и уже больше 10 лет я занимаюсь тестированием. За это время успела поработать в проектах, связанных с восстановлением, миграцией и резервным копированием данных. Я много занимаюсь облачными технологиями и получаю от этого настоящее удовольствие. Последние 6 лет я работаю в компании Хайстекс, где продукт и задачи позволяют мне не просто тестировать, а прокачивать экспертизу и при этом сохранять интерес к облачным решениям. В этой статье расскажу, как мы настроили, внедрили и протестировали резервное копирование с решением Хайстекс Акура и S3-хранилищем от Selectel, на основе реальных требований и возможностей компании-клиента. Покажу, как это выглядит на практике глазами QA. Не претендую на универсальный рецепт, но подробно опишу, как мы упростили восстановление тестовой среды, сэкономили время и перестали бояться, что важные данные потеряются после очередного сбоя. Разберу всё по шагам: как настраивали, что сработало, где пришлось доработать и какие выводы сделали в итоге. Если вам интересно, как внедрить надежный бэкап всех данных у себя в компании, встретимся под катом. Там же ссылка на вебинар для тех, кому ближе видеоформат. Разбор по шагам

https://habr.com/ru/companies/hstx/articles/940504/

#хайстекс #акура #s3_хранилище #бэкап #selectel #восстановление_данных #репликация #rto #отказоустойчивость #облако

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Репликация без тормозов: разбираемся в тонкостях настройки репликации на уровне СХД в zVirt

Программная репликация хорошо работает, пока у вас не появляются высоконагруженные базы или файловые хранилища. Тогда гипервизор начинает тормозить. Ему приходится одновременно обслуживать приложения и копировать данные на резервную площадку. Мы решили эту проблему, добавив в наш zVirt управление синхронной репликацией на уровне СХД YADRO TATLIN.UNIFIED. В результате репликацией можно управлять прямо из интерфейса, настраивать автоматические планы восстановления. Производительность приложений не страдает, время восстановления сокращается до минут. Меня зовут Стас Борисов, я архитектор в команде zVirt в Orion soft.В этой статье расскажу, чем отличается аппаратная репликация от программной, как она работает изнутри и почему наши заказчики просили добавить в решение репликацию именно на уровне СХД. Еще посмотрим, как это все настроить, начиная с репликационной пары до восстановления всей инфраструктуры. Погнали!

https://habr.com/ru/companies/orion_soft/articles/937540/

#orion_soft #zvirt #репликация #схд

Репликация без тормозов: разбираемся в тонкостях настройки репликации на уровне СХД в zVirt

Программная репликация хорошо работает, пока у вас не появляются высоконагруженные базы или файловые хранилища. Тогда гипервизор начинает тормозить. Ему приходится одновременно обслуживать приложения и копировать данные на резервную площадку. Мы решили эту проблему, добавив в наш zVirt управление синхронной репликацией на уровне СХД YADRO TATLIN.UNIFIED. В результате репликацией можно управлять прямо из интерфейса, настраивать автоматические планы восстановления. Производительность приложений не страдает, время восстановления сокращается до минут. Меня зовут Стас Борисов, я архитектор в команде zVirt в Orion soft.В этой статье расскажу, чем отличается аппаратная репликация от программной, как она работает изнутри и почему наши заказчики просили добавить в решение репликацию именно на уровне СХД. Еще посмотрим, как это все настроить, начиная с репликационной пары до восстановления всей инфраструктуры. Погнали!

https://habr.com/ru/companies/orion_soft/articles/937540/

#orion_soft #zvirt #репликация #схд