#кластер — Public Fediverse posts

Как мы разворачиваем ClickHouse-кластер через Arenadata: практический гайд для DevOps

Привет, Хабр! Меня зовут Никита Ивкин, я — ведущий DevOps-инженер РТЛабс, работаю с инфраструктурой Госуслуг. Сегодня я покажу один из наших реальных сценариев: как мы разворачиваем ClickHouse через Arenadata, почему выбрали именно такую топологию и какие нюансы появляются между кнопкой Install и действительно рабочим кластером. Мы разберём причины выбора такой схемы, увидим, где ADCM действительно упрощает эксплуатацию, какие мелочи всплывают вокруг SSH и Ansible и почему после успешного Install хост всё ещё может выглядеть «жёлтым». В конце — проверки со стороны самого ClickHouse и несколько вещей, которыми мы дополнили кластер уже после раскатки.

https://habr.com/ru/companies/rtlabs/articles/1088140/

#devops #ClickHouse #Arenadata #ADCM #ADQM #кластер #репликация #SSH_hostprovider #импортозамещение #отказоустойчивость

Промпт-инжиниринг для моделей надежности отказоустойчивого кластера

Ранее в « Базовые модели надежности отказоустойчивого кластера » [2] были показаны теоретические подходы к построению моделей (непрерывная цепь Маркова, CTMC, Continuous-Time Markov Chain) отказоустойчивого кластера (fault-tolerant cluster). Предлагаемый ниже практикум «Промпт-инжиниринг для моделей надежности отказоустойчивого кластера» имеет цель популяризации практических расчетов надежности «подручными средствами» - через ИИ/AI (искусственный интеллект через AI-чат, например, ChatGPT). Задача – формализовать промпты для формирования модели надежности и проведения по ней расчета стационарного коэффициента готовности, Кг. Промпт (prompt) - запрос, текстовая инструкция, которую пользователь даёт нейросети. Промпт-инжиниринг — практика проектирования, итерации и верификации текстовых инструкций (промптов) для получения предсказуемых, точных и воспроизводимых результатов от больших языковых моделей (LLM). Коэффициента готовности, напомним [1], что Кг – численно равен вероятности застать систему (в данном случае кластер) в одном из ее работоспособных состояний (сложение вероятностей каждого такого состояния). Предлагаемые подходы могут быть применены и для других сложных резервируемых структур с учетом ограничений СТМС: случайный процесс «без памяти» с дискретными состояниями и непрерывным временем, а также экспоненциальное распределение времён до отказа/восстановления, независимость отказов компонентов, см. [6], [7]. Специализированные для расчетов надёжности пакеты RAS (Reliability, Availability, and Serviceability) типа SHARPE, MEADEP, RAScad, CARMS, RAPTOR и т.п. позволяют строить и рассчитывать сложные модели. Есть более простые системы (и бесплатные), которые можно использовать для рассмотренных ранее моделей надежности отказоустойчивого кластера, например, relind.ru . Можно использовать универсальные средства (не специализированные под расчет надёжности), например, для расчета марковских цепей, или расчеты делать непосредственно в Matlab и Mathcad и подобных. Однако все это требует достаточно высокий «порог входа» и имеет встроенные в конкретный soft-продукт ограничения, как, по существу, так и по визуализации.

https://habr.com/ru/articles/1082196/

#кластер #модель #промтинжиниринг #надёжность #отказоустойчивость #марковский_процесс #марковские_цепи

Зависший пакет на 16 КБ: разбор сетевого дедлока при установке Kubernetes в VirtualBox

В целях тестирования решил развернуть Kubernetes-кластер, состоящий из 1 Control Plane и 2 Worker-нод на виртуальных машинах в VirtualBox (использовал Ubuntu Server). Для развертывания использовал kubeadm . Казалось бы, никаких проблем возникнуть не должно, но в итоге пришлось потратить несколько часов на отладку возникшей проблемы. Рассказываю по порядку, как и что происходило. Виртуальную машину изначально настроил в сетевом режиме Bridge (Сетевой мост) через Wi-Fi. То есть она в локальной домашней сети определяется как отдельное устройство и получает собственный IP-адрес (к примеру, 192.168.0.17 ). Изначально этот вариант кажется самым удобным, так как виртуальные машины могут напрямую общаться друг с другом и доступны с хоста. Однако здесь всплыл нюанс, из-за которого сетевой мост над Wi-Fi показал себя с неожиданной стороны.

https://habr.com/ru/articles/1073030/

#баг #системное_администрирование #kubernetes #virtualbox #виртуализация #сеть #lan #серверы #devops #кластер

Архитектура TMS на .NET: кластер, потоки координат и объектное хранилище

Это разбор архитектуры системы управления транспортом — без сроков, без смет и без сравнения технологий по галочкам. Только устройство: из чего система собрана, как разложена по кластеру, куда идут данные и почему именно так. Коротко о предмете. Заказы приезжают из SAP, под них подбираются водитель и машина с учётом требований к транспорту и к точкам. Рейс идёт по точкам с временными окнами, на точках чек-листы, при выдаче и возврате машины составляются акты с фиксацией повреждений. Сверху — поток GPS-координат, отслеживание рейсов и мест, мобильное приложение водителя и публичный контур, где клиент видит свою доставку. Пятнадцать модулей, три ноды за балансировщиком, RabbitMQ и Kafka по три ноды, PostgreSQL, Redis из шести.

https://habr.com/ru/articles/1065100/

#архитектура #NET #интеграция #EIP #Kafka #RabbitMQ #Redis #PostgreSQL #кластер #партиционирование

Шардинг в Manticore Search: автоматическое распределение и репликация

На старте поисковая система часто устроена просто: одна таблица на одном сервере. Это работает, пока не случится одно из двух. Либо отдельный запрос перестаёт задействовать весь CPU, за который вы заплатили, либо одного сервера перестаёт хватать — по объёму, по пропускной способности или просто потому, что сервер может выйти из строя, и данные на нём будут потеряны. Автоматический шардинг, встроенный в Manticore Search и доступный начиная с релиза 27.1.5 , решает обе проблемы, разбивая таблицу на несколько физических фрагментов меньшего размера (шардов), по которым можно выполнять поиск параллельно и которые можно размещать на разных узлах :

https://habr.com/ru/articles/1055064/

#шардинг #шардирование #высокая_производительность #масштабирование_систем #масштабирование_поиска #распределение_данных #кластер #репликация #балансировка_нагрузки

Как повысить отказоустойчивость сервисов в кластере виртуализации с помощью оптимизации их распределения

Всем привет! Это первая публикация из цикла статей про распределение сервисов в кластере виртуализации. В статье будет описан один из подходов к решению задачи от определения проблемы до результатов тестов с демонстрацией работы готового решения.

https://habr.com/ru/articles/1054324/

#инфраструктура #виртуализация #кластер #сервисы #надёжность #отказоустойчивость #оптимизация #виртуальные_машины #балансировка_нагрузки #метрики_качества

Проблема миграции больших кластеров на Cassandra

Миграция Cassandra выглядит простой задачей ровно до того момента, пока кластер не становится действительно большим. Разберем, где достаточно snapshot, когда стоит использовать междатацентровую репликацию, а в каких случаях лучше вообще отказаться от переноса исторических данных.

https://habr.com/ru/companies/dbraincloud/articles/1053998/

#cassandra #базы_данных #база_дынных #миграция #snapshot #кластер #репликация #kubernetes #statefulset #оператор

Автообновления Linux: почему сервер моргает по утрам, а кластер теряет кворум

Ubuntu Server и Debian ставят security-обновления сами, по умолчанию — это не настройка, которую кто-то включил, а поведение из коробки. У механизма два типичных следствия, которые админ месяцами не может опознать. Одиночный сервер «моргает» каждое утро в районе 06:xx на 10–30 секунд: сервис остановлен и тут же запущен, виновного в журнале будто нет, и даунтайм списывают то на сеть, то на GC. Кластер из трёх–пяти узлов, который спокойно переживает падение одного узла, в какой-то момент роняет себя сам: обновление с перезапуском прилетело на все узлы в одно утро — кворума не осталось. Источник у обоих один: таймеры автообновлений с узким окном после шести утра плюс needrestart , который перезапускает не только обновлённый сервис, но и всё, что слинковано с обновившейся системной библиотекой ( libssl3 , libc6 , zlib1g ). Разберём, как подтвердить диагноз за две минуты и как развести узлы во времени — от drop-in к таймеру до координации через Ansible и PodDisruptionBudget.

https://habr.com/ru/articles/1051978/

#unattendedupgrades #dnfautomatic #needrestart #systemd #OnCalendar #автообновления #Linux #кластер #кворум #отказоустойчивость

Кластер на Eltex ESR — тихая фича, про которую мало кто знает

Всем доброго дня! Каждый раз, настраивая на коммутаторах стек/vPC/DFS, невольно ловил себя на мысли: а почему для маршрутизаторов нет чего-то подобного? Чтобы гибко добавлять порты, резервировать подключения, распараллеливать трафик между портами и устройствами… Понятно, что это упрощение, и куда больший выигрыш был бы для stateful задач – например, DHCP SERVER или NAT. И, вообще говоря, что-то подобное в природе давно существует – в частности, кластеры для NGFW. Ибо stateful fw – один из способов существенно поднять производительность, но без «горячего» резерва и синхронизации состояния всех сеансов на этом резерве, в случае сбоя понадобится переустановление всех сессий – что не всегда приемлемо в ответственных применениях. Поскольку сервисные маршрутизаторы Eltex ESR (а рассматривать будем именно их) являются чем-то средним между «классическими» маршрутизаторами и МЭ (как, кстати, и маршрутизаторы многих других вендоров), то наличие функционала кластера является вполне логичным, хотя у остальных поставщиков сетевого оборудования он присутствует только на «совсем-совсем МЭ» типа Cisco ASA (а для классических маршрутизаторов преобладает схема «активный-активный»). А с учетом того, что Элтекс поддерживает кластер не только на «железных», но и виртуальных маршрутизаторах vESR, освоение этой технологии легко может быть переведено в практическую плоскость. Чем и предлагаю заняться не откладывая.

https://habr.com/ru/articles/1049422/

#кластер #eltex #esr

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы и архитектором SDS в Рунити. Ранее я уже рассказывал про то, как мы выбирали SDS (Software Defined Storage), почему остановились на Ceph, а также о наших процессах в R&D. В этой статье , поделюсь, что мы поймали за год в продакшене, какие решения в дизайне кластеров оказались ошибочными, как это изменило нашу референсную архитектуру и к чему мы пришли в итоге.

https://habr.com/ru/companies/runity/articles/1021222/

#регоблако #ceph #s3 #hsdc #конфигурация #exhausted #jbod #hba #архитектура #кластер

Как построить отказоустойчивый PostgreSQL-кластер и не промахнуться

В исходниках PostgreSQL встречаются ироничные комментарии, а самый веселый, на мой взгляд, находится в строке прямо перед запуском сервера. Судя по логам Git, это комментарий Тома Лейна, который сообщает: "We are ready to rock and roll", а следующей строкой идёт запуск сервера СУБД. Действительно, когда пытаешься запустить кластер PostgreSQL, порой не покидает ощущение "rock and roll", а потом вдруг кластер не стартует или внезапно переключается на другой узел из-за отступов в YAML-конфиге :). В этой статье разберём ключевые элементы отказоустойчивого кластера и типовые места, где чаще всего допускают ошибки.

https://habr.com/ru/companies/postgrespro/articles/1004040/

#postgresql #dba #кластер #датацентр #pgBackRest #wal #PgBouncer #мониторинг #Patroni #Stolon

MySQL, который выживает: отказоустойчивый кластер с Orchestrator

MySQL, который выживает: отказоустойчивый кластер с Orchestrator Разбираем настройку HA-кластера с Keepalived и Orchestrator для тех, кто предпочитает контроль облачным black box-решениям. Хабр, привет! Почему проблема отказа мастера в кластере MySQL до сих пор актуальна? Потому что сегодня 10 минут простоя у крупных заказчиков – это ЧП, а человеческий фактор в кризисной ситуации – главный источник риска. Многие проекты, мигрируя на MySQL 8.0, заново проходят путь настройки отказоустойчивости. И далеко не все готовы доверить свою основную базу данных облачным managed-сервисам, иногда нужен полный контроль на своей инфраструктуре.

https://habr.com/ru/companies/jetinfosystems/articles/1003422/

#keepalived #кластер #отказоустойчивость #mysql #оркестратор

Отказоустойчивый кластер Angie с VRRP и Keepalived

Ранее мы рассматривали различные варианты балансировки нагрузки (HTTP, L4) с помощью Angie. Однако мы обходили стороной вопрос отказоустойчивости. Балансировщик становится единой точкой отказа для системы, и эту проблему необходимо решать. Одним из решений является использование протокола VRRP для организации отказоустойчивого кластера — его мы и разберём в этой статье.

https://habr.com/ru/articles/976958/

#angie #vrrp #кластер #отказоустойчивость #keepalived

Managed OpenSearch Yandex Cloud. Автоматизация и управление кластером

Привет, Хабр! Сегодня предлагаю обсудить Managed OpenSearch Yandex Cloud. Поговорим о том, как автоматизировать управление кластером, чтобы сократить расходы на разработку, и как улучшить качество поиска на русском языке, используя доступные в сервисе инструменты морфологии.

https://habr.com/ru/companies/reksoft/articles/974868/

#OpenSearch_Yandex_Cloud #opensearch #yandexcloud #кластер #yandexlemmer #Managed_OpenSearch

«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях

Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.

https://habr.com/ru/companies/jetinfosystems/articles/974850/

#субд #тестирование #базы_знаний #ydb #отказоустойчивость #архитектура_систем #процессинг #нагрузочное_тестирование #ноды #кластер

Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana

Сегодня мы построим масштабируемую, отказоустойчивую систему , которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент. Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга. Это реальность с правильно настроенным стеком на основе VictoriaMetrics .

https://habr.com/ru/articles/970490/

#victoriametrics #мониторинг #kubernetes #devops #prometheus #grafana #monitoring #time_series #high_availability #кластер

Как мы запустили новый высокопроизводительный кластер: от выбора железа до прода

В современном мире облачных технологий производительность инфраструктуры напрямую влияет на качество услуг и удовлетворенность клиентов. Когда перед нами встала задача миграции клиентов Serverspace с устаревшего кластера в DataSpace на новую площадку в IXcellerate, мы решили не просто обновить оборудование, а создать решение, которое задаст новый стандарт производительности для российского рынка.

https://habr.com/ru/companies/itglobalcom/articles/966218/

#кластер #миграция_итинфраструктуры #виртуальная_машина #itpod #vstack #процессоры_intel_xeon #облачные_технологии #масштабируемость

Самодельный кластер на мини ПК

В конце 2021 года у меня появилось непреодолимое желание построить свой небольшой домашний вычислительный кластер. Практической задачи на тот момент у меня не было (и до сих пор не появилось), так что подходил исключительно с исследовательским интересом. Вообще, любой домашний кластер можно использовать ради экспериментов, для домашнего хостинга или просто для кайфа от обладания им — мой случай именно третий. Когда начал изучать чужой опыт, быстро понял, что все строят кластеры на Raspberry Pi. Тогда цены на «малинки» только росли и уже кусались, поэтому решил искать другие варианты. Вариант с полноценным сервером я сразу отбросил — слишком дорого, громоздко, шумно, и энергопотребление конское, плюс мощности были бы с большим запасом, а мне это было не нужно. Понял, что мини ПК, именно то, что мне требуется.

https://habr.com/ru/articles/955996/

#кластер #самоделки

Обзор UDTF в PySpark

Привет, Хабр! Сегодня разберём фичу из PySpark — UDTF . Если раньше мы писали UDF и UDAF, то UDTF — это про функцию, которая запускается в секции FROM запроса и возвращает как бы несколько стро» для каждой входной записи Звучит круто. UDTFs пригодятся, когда на один входной объект нужно получить множество выходных строк. Простой пример: у нас есть строка текста и мы хотим разделить её на слова так, чтобы каждое слово вышло отдельной строкой. Со стандартным UDF такое не сделать (он возвращает одно значение, например конкатенацию или длину). Но UDTF может делать цикл yield внутри и выдавать сколько угодно строк. Итак, приступим к делу.

https://habr.com/ru/companies/otus/articles/942148/

#python #матричное_умножение #big_data #распределённые_вычисления #кластер #производительность

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Как мы реализовали георезервирование инфраструктуры для системы видеоконференций: опыт, ошибки, выводы

Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы строили георезервирование для инфраструктуры, что пошло не так и какие выводы сделали. Перед вами — true story, как мы помогаем одному из наших заказчиков сопровождать инфраструктуру большого критичного сервиса. Привет, Хабр! Это Никита Турцаков и Алексей Кузьмин из К2. В этой статье расскажем: • зачем и для чего нужно георезервирование для системы ВКС; • как мы подошли к выбору архитектуры; • с чем столкнулись при реализации; • и что бы сделали по-другому, если бы начинали сейчас. Готовьтесь: будет много практики и немного боли — потому что как без неё в масштабных и амбициозных задачах.

https://habr.com/ru/companies/k2tech/articles/932106/

#облачные_сервисы #инфраструктура #облачные_хранилища #цод #георезервирование #кластер #базы_данных #архитектура #consul #postgresql

Bare Metal как объект Kubernetes: переход от MaaS к Metal³

В этой статье мы подробно расскажем о пути перехода платформы контейнеризации dBrain.cloud с MaaS на Metal³. Основная задача, которую решают оба этих проекта, состоит в установке операционной системы на серверы платформ. Озвучим причины, по которым мы искали альтернативные решения, и объясним, чем Metal³ превосходит MaaS.

https://habr.com/ru/companies/dbraincloud/articles/929840/

#maas #metal #baremetal #bare_metal #cluster_api #ironic #kubernetes #debian #dbrain #кластер

[Перевод] Растянутый кластер Ceph: две локации + Tie-breaker. Часть 2

Продолжаем серию статей о растянутом кластере Ceph. В первой части мы представили концепции, лежащие в основе стратегий репликации Ceph и подчеркнули преимущества растянутого кластера для достижения нулевой потери данных (RPO=0). Во второй части мы сосредоточимся на практических шагах — развертывании растянутого кластера на двух локациях + монитора в качестве tie-breaker с использованием cephadm .

https://habr.com/ru/companies/runity/articles/926040/

#ceph #кластер #цод #датацентр #репликация #placement_groups #rpo #crush #network #osd

[Перевод] Растянутый кластер Ceph: основные концепции. Часть 1

При планировании репликации, аварийного восстановления, резервного копирования и восстановления данных мы выбираем из нескольких стратегий — в зависимости от требований к уровню SLA по восстановлению данных и приложений. Ключевые факторы при выборе включают в себя целевое время восстановления (RTO) и целевую точку восстановления (RPO). Синхронная репликация дает минимальную RPO, что означает невозможность потери данных. Ceph может реализовать синхронную репликацию между локациями, «растянув» свой кластер на несколько дата-центров. Асинхронная репликация по своей сути подразумевает ненулевое значение RPO. В Ceph асинхронная multi-site репликация подразумевает репликацию данных в другой кластер Ceph. Каждый метод доступа к хранилищу (объект, блок и файл) обладает собственным методом асинхронной репликации, реализованным на уровне конкретного компонента Ceph.

https://habr.com/ru/companies/runity/articles/921288/

#ceph #кластер #кластеры #rpo #восстановление_данных #датацентр #цод #репликация #асинхронная_репликация #синхронная_репликация

Как не запутаться в обновлениях 1C: работаем с «Обновлятором»

Распространенная головная боль пользователей 1C — обновление. Это нетривиальная задача, которая требует внимания ко множеству нюансов. Что‑то забыли, что‑то не учли — и уже потеря денег, а может быть, и данных. Мы рассмотрим несколько подобных примеров. Теперь многое становится проще. Рассказываем о том, как с помощью стороннего инструмента автоматизировать процесс, сэкономить время и избежать всех возможных препятствий. Уделим внимание работе с кластером в готовом облаке 1С

https://habr.com/ru/companies/selectel/articles/914134/

#selectel #1c #1cloud #1c_интеграция #1c_предприятие #1с_сервер #хранилище_данных #кластер #облачные_сервисы #облачные_сервисы_для_предприятий

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.

https://habr.com/ru/companies/flant/articles/875510/

#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные

Просто о сложном: зачем нужны Kube-Audit логи и как с ними подружиться

Популярность облачных платформ и контейнеров растет с каждым днем. Вместе с этим появляется необходимость в активном контроле и защите используемых решений. Есть много инструментов, которые могут сделать работу в K8s безопасной, а процессы — прозрачными и эффективными. Но в статье поговорим о самом недооцененном, но тем не менее актуальном способе для анализа безопасности в Kubernetes: о сборе Kube-Audit логов.

https://habr.com/ru/companies/chislitellab/articles/863224/

#kubernetes #kubeaudit #политика_аудита #анализ_безопасности #штурвал #логирование #audit_logs #кластер #логи #контейнеризация

Ютубер створив кластер з п’яти Apple Mac mini M4 — наскільки він ефективний? https://itc.ua/ua/novini/yutuber-stvoryv-klaster-z-p-yaty-apple-mac-mini-m4-naskilky-vin-efektyvnyj/ #Штучнийінтелект #MacMiniM4 #Пристрої #MacMini #Кластер #Новини #Apple #LLM #M4

Оптимизация Arenadata DB: как избежать критических ошибок и повысить производительность кластера

Привет, Хабр! Меня зовут Дмитрий Капралов, я работаю в команде консалтинга компании Arenadata. Одной из наших задач является проведение аудита кластеров СУБД Arenadata DB (ADB). Проектирование физической модели данных и настройка квотирования ресурсов кластера проводятся на этапе разработки хранилища. Однако при переходе системы в продуктивный режим профиль нагрузки кардинально меняется, и первоначальные настройки СУБД и архитектура данных нередко оказываются не готовы к такой нагрузке. В процессе эксплуатации могут возникнуть узкие места, замедляющие работу системы. В этой статье я хочу поделиться опытом нашей команды по выявлению и оптимизации подобных проблем.

https://habr.com/ru/companies/arenadata/articles/852830/

#adb #greenplum #cpu #управление_нагрузкой #кластер #партиционирование #sql #memory #mpp #производительность

Почти всё о Carbonio Mesh

Carbonio Mesh - это инфраструктурный модуль почтового сервера Carbonio, позволяющий обеспечить связность, отказоустойчивость и возможность мониторинга различных сервисов Carbonio и интеграцию их с Carbonio LDAP. В данной статье мы расскажем о том, из чего состоит система Carbonio Mesh, а также о том, как обеспечить эффективное взаимодействие с ней.

https://habr.com/ru/companies/Zextras/articles/821397/

#carbonio #carbonio_ce #zextras #электронная_почта #кластер #кластеризация #кластеры #consul