#перенос_базы — Public Fediverse posts

Как мы переносили базу Clickhouse между географически удаленными дата-центрами

В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте . Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с низкой latency в секунду. В этой статье рассказываем, как мы переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией. Объем данных для Clickhouse у нас не такой уж и большой - процесс получился не столько объемный, сколько ресурсоемкий. Но в открытых источниках информации по использованным механизмам минимум, поэтому считайте это руководством к clickhouse-copier утилите ( https://github.com/ClickHouse/copier ) на конкретном примере со скриптами и командами для запуска.

https://habr.com/ru/companies/maxilect/articles/808851/

#clickhouse #clickhousecopier #copier #перенос_базы #копирование_данных

Как мы переносили базу Clickhouse между географически удаленными дата-центрами

В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте . Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с низкой latency в секунду. В этой статье рассказываем, как мы переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией. Объем данных для Clickhouse у нас не такой уж и большой - процесс получился не столько объемный, сколько ресурсоемкий. Но в открытых источниках информации по использованным механизмам минимум, поэтому считайте это руководством к clickhouse-copier утилите ( https://github.com/ClickHouse/copier ) на конкретном примере со скриптами и командами для запуска.

https://habr.com/ru/companies/maxilect/articles/808851/

#clickhouse #clickhousecopier #copier #перенос_базы #копирование_данных

Как мы переносили базу Clickhouse между географически удаленными дата-центрами

В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте . Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с низкой latency в секунду. В этой статье рассказываем, как мы переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией. Объем данных для Clickhouse у нас не такой уж и большой - процесс получился не столько объемный, сколько ресурсоемкий. Но в открытых источниках информации по использованным механизмам минимум, поэтому считайте это руководством к clickhouse-copier утилите ( https://github.com/ClickHouse/copier ) на конкретном примере со скриптами и командами для запуска.

https://habr.com/ru/companies/maxilect/articles/808851/

#clickhouse #clickhousecopier #copier #перенос_базы #копирование_данных