#кластер — Public Fediverse posts

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы и архитектором SDS в Рунити. Ранее я уже рассказывал про то, как мы выбирали SDS (Software Defined Storage), почему остановились на Ceph, а также о наших процессах в R&D. В этой статье , поделюсь, что мы поймали за год в продакшене, какие решения в дизайне кластеров оказались ошибочными, как это изменило нашу референсную архитектуру и к чему мы пришли в итоге.

https://habr.com/ru/companies/runity/articles/1021222/

#регоблако #ceph #s3 #hsdc #конфигурация #exhausted #jbod #hba #архитектура #кластер

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы и архитектором SDS в Рунити. Ранее я уже рассказывал про то, как мы выбирали SDS (Software Defined Storage), почему остановились на Ceph, а также о наших процессах в R&D. В этой статье , поделюсь, что мы поймали за год в продакшене, какие решения в дизайне кластеров оказались ошибочными, как это изменило нашу референсную архитектуру и к чему мы пришли в итоге.

https://habr.com/ru/companies/runity/articles/1021222/

#регоблако #ceph #s3 #hsdc #конфигурация #exhausted #jbod #hba #архитектура #кластер

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы и архитектором SDS в Рунити. Ранее я уже рассказывал про то, как мы выбирали SDS (Software Defined Storage), почему остановились на Ceph, а также о наших процессах в R&D. В этой статье , поделюсь, что мы поймали за год в продакшене, какие решения в дизайне кластеров оказались ошибочными, как это изменило нашу референсную архитектуру и к чему мы пришли в итоге.

https://habr.com/ru/companies/runity/articles/1021222/

#регоблако #ceph #s3 #hsdc #конфигурация #exhausted #jbod #hba #архитектура #кластер

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы и архитектором SDS в Рунити. Ранее я уже рассказывал про то, как мы выбирали SDS (Software Defined Storage), почему остановились на Ceph, а также о наших процессах в R&D. В этой статье , поделюсь, что мы поймали за год в продакшене, какие решения в дизайне кластеров оказались ошибочными, как это изменило нашу референсную архитектуру и к чему мы пришли в итоге.

https://habr.com/ru/companies/runity/articles/1021222/

#регоблако #ceph #s3 #hsdc #конфигурация #exhausted #jbod #hba #архитектура #кластер

Как построить отказоустойчивый PostgreSQL-кластер и не промахнуться

В исходниках PostgreSQL встречаются ироничные комментарии, а самый веселый, на мой взгляд, находится в строке прямо перед запуском сервера. Судя по логам Git, это комментарий Тома Лейна, который сообщает: "We are ready to rock and roll", а следующей строкой идёт запуск сервера СУБД. Действительно, когда пытаешься запустить кластер PostgreSQL, порой не покидает ощущение "rock and roll", а потом вдруг кластер не стартует или внезапно переключается на другой узел из-за отступов в YAML-конфиге :). В этой статье разберём ключевые элементы отказоустойчивого кластера и типовые места, где чаще всего допускают ошибки.

https://habr.com/ru/companies/postgrespro/articles/1004040/

#postgresql #dba #кластер #датацентр #pgBackRest #wal #PgBouncer #мониторинг #Patroni #Stolon

MySQL, который выживает: отказоустойчивый кластер с Orchestrator

MySQL, который выживает: отказоустойчивый кластер с Orchestrator Разбираем настройку HA-кластера с Keepalived и Orchestrator для тех, кто предпочитает контроль облачным black box-решениям. Хабр, привет! Почему проблема отказа мастера в кластере MySQL до сих пор актуальна? Потому что сегодня 10 минут простоя у крупных заказчиков – это ЧП, а человеческий фактор в кризисной ситуации – главный источник риска. Многие проекты, мигрируя на MySQL 8.0, заново проходят путь настройки отказоустойчивости. И далеко не все готовы доверить свою основную базу данных облачным managed-сервисам, иногда нужен полный контроль на своей инфраструктуре.

https://habr.com/ru/companies/jetinfosystems/articles/1003422/

#keepalived #кластер #отказоустойчивость #mysql #оркестратор

Отказоустойчивый кластер Angie с VRRP и Keepalived

Ранее мы рассматривали различные варианты балансировки нагрузки (HTTP, L4) с помощью Angie. Однако мы обходили стороной вопрос отказоустойчивости. Балансировщик становится единой точкой отказа для системы, и эту проблему необходимо решать. Одним из решений является использование протокола VRRP для организации отказоустойчивого кластера — его мы и разберём в этой статье.

https://habr.com/ru/articles/976958/

#angie #vrrp #кластер #отказоустойчивость #keepalived

Managed OpenSearch Yandex Cloud. Автоматизация и управление кластером

Привет, Хабр! Сегодня предлагаю обсудить Managed OpenSearch Yandex Cloud. Поговорим о том, как автоматизировать управление кластером, чтобы сократить расходы на разработку, и как улучшить качество поиска на русском языке, используя доступные в сервисе инструменты морфологии.

https://habr.com/ru/companies/reksoft/articles/974868/

#OpenSearch_Yandex_Cloud #opensearch #yandexcloud #кластер #yandexlemmer #Managed_OpenSearch

«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях

Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.

https://habr.com/ru/companies/jetinfosystems/articles/974850/

#субд #тестирование #базы_знаний #ydb #отказоустойчивость #архитектура_систем #процессинг #нагрузочное_тестирование #ноды #кластер

Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana

Сегодня мы построим масштабируемую, отказоустойчивую систему , которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент. Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга. Это реальность с правильно настроенным стеком на основе VictoriaMetrics .

https://habr.com/ru/articles/970490/

#victoriametrics #мониторинг #kubernetes #devops #prometheus #grafana #monitoring #time_series #high_availability #кластер

Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana

Сегодня мы построим масштабируемую, отказоустойчивую систему , которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент. Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга. Это реальность с правильно настроенным стеком на основе VictoriaMetrics .

https://habr.com/ru/articles/970490/

#victoriametrics #мониторинг #kubernetes #devops #prometheus #grafana #monitoring #time_series #high_availability #кластер

Как мы запустили новый высокопроизводительный кластер: от выбора железа до прода

В современном мире облачных технологий производительность инфраструктуры напрямую влияет на качество услуг и удовлетворенность клиентов. Когда перед нами встала задача миграции клиентов Serverspace с устаревшего кластера в DataSpace на новую площадку в IXcellerate, мы решили не просто обновить оборудование, а создать решение, которое задаст новый стандарт производительности для российского рынка.

https://habr.com/ru/companies/itglobalcom/articles/966218/

#кластер #миграция_итинфраструктуры #виртуальная_машина #itpod #vstack #процессоры_intel_xeon #облачные_технологии #масштабируемость

Самодельный кластер на мини ПК

В конце 2021 года у меня появилось непреодолимое желание построить свой небольшой домашний вычислительный кластер. Практической задачи на тот момент у меня не было (и до сих пор не появилось), так что подходил исключительно с исследовательским интересом. Вообще, любой домашний кластер можно использовать ради экспериментов, для домашнего хостинга или просто для кайфа от обладания им — мой случай именно третий. Когда начал изучать чужой опыт, быстро понял, что все строят кластеры на Raspberry Pi. Тогда цены на «малинки» только росли и уже кусались, поэтому решил искать другие варианты. Вариант с полноценным сервером я сразу отбросил — слишком дорого, громоздко, шумно, и энергопотребление конское, плюс мощности были бы с большим запасом, а мне это было не нужно. Понял, что мини ПК, именно то, что мне требуется.

https://habr.com/ru/articles/955996/

#кластер #самоделки

Обзор UDTF в PySpark

Привет, Хабр! Сегодня разберём фичу из PySpark — UDTF . Если раньше мы писали UDF и UDAF, то UDTF — это про функцию, которая запускается в секции FROM запроса и возвращает как бы несколько стро» для каждой входной записи Звучит круто. UDTFs пригодятся, когда на один входной объект нужно получить множество выходных строк. Простой пример: у нас есть строка текста и мы хотим разделить её на слова так, чтобы каждое слово вышло отдельной строкой. Со стандартным UDF такое не сделать (он возвращает одно значение, например конкатенацию или длину). Но UDTF может делать цикл yield внутри и выдавать сколько угодно строк. Итак, приступим к делу.

https://habr.com/ru/companies/otus/articles/942148/

#python #матричное_умножение #big_data #распределённые_вычисления #кластер #производительность

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Как мы реализовали георезервирование инфраструктуры для системы видеоконференций: опыт, ошибки, выводы

Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы строили георезервирование для инфраструктуры, что пошло не так и какие выводы сделали. Перед вами — true story, как мы помогаем одному из наших заказчиков сопровождать инфраструктуру большого критичного сервиса. Привет, Хабр! Это Никита Турцаков и Алексей Кузьмин из К2. В этой статье расскажем: • зачем и для чего нужно георезервирование для системы ВКС; • как мы подошли к выбору архитектуры; • с чем столкнулись при реализации; • и что бы сделали по-другому, если бы начинали сейчас. Готовьтесь: будет много практики и немного боли — потому что как без неё в масштабных и амбициозных задачах.

https://habr.com/ru/companies/k2tech/articles/932106/

#облачные_сервисы #инфраструктура #облачные_хранилища #цод #георезервирование #кластер #базы_данных #архитектура #consul #postgresql

Bare Metal как объект Kubernetes: переход от MaaS к Metal³

В этой статье мы подробно расскажем о пути перехода платформы контейнеризации dBrain.cloud с MaaS на Metal³. Основная задача, которую решают оба этих проекта, состоит в установке операционной системы на серверы платформ. Озвучим причины, по которым мы искали альтернативные решения, и объясним, чем Metal³ превосходит MaaS.

https://habr.com/ru/companies/dbraincloud/articles/929840/

#maas #metal #baremetal #bare_metal #cluster_api #ironic #kubernetes #debian #dbrain #кластер

Bare Metal как объект Kubernetes: переход от MaaS к Metal³

В этой статье мы подробно расскажем о пути перехода платформы контейнеризации dBrain.cloud с MaaS на Metal³. Основная задача, которую решают оба этих проекта, состоит в установке операционной системы на серверы платформ. Озвучим причины, по которым мы искали альтернативные решения, и объясним, чем Metal³ превосходит MaaS.

https://habr.com/ru/companies/dbraincloud/articles/929840/

#maas #metal #baremetal #bare_metal #cluster_api #ironic #kubernetes #debian #dbrain #кластер

Bare Metal как объект Kubernetes: переход от MaaS к Metal³

В этой статье мы подробно расскажем о пути перехода платформы контейнеризации dBrain.cloud с MaaS на Metal³. Основная задача, которую решают оба этих проекта, состоит в установке операционной системы на серверы платформ. Озвучим причины, по которым мы искали альтернативные решения, и объясним, чем Metal³ превосходит MaaS.

https://habr.com/ru/companies/dbraincloud/articles/929840/

#maas #metal #baremetal #bare_metal #cluster_api #ironic #kubernetes #debian #dbrain #кластер

Bare Metal как объект Kubernetes: переход от MaaS к Metal³

В этой статье мы подробно расскажем о пути перехода платформы контейнеризации dBrain.cloud с MaaS на Metal³. Основная задача, которую решают оба этих проекта, состоит в установке операционной системы на серверы платформ. Озвучим причины, по которым мы искали альтернативные решения, и объясним, чем Metal³ превосходит MaaS.

https://habr.com/ru/companies/dbraincloud/articles/929840/

#maas #metal #baremetal #bare_metal #cluster_api #ironic #kubernetes #debian #dbrain #кластер

[Перевод] Растянутый кластер Ceph: две локации + Tie-breaker. Часть 2

Продолжаем серию статей о растянутом кластере Ceph. В первой части мы представили концепции, лежащие в основе стратегий репликации Ceph и подчеркнули преимущества растянутого кластера для достижения нулевой потери данных (RPO=0). Во второй части мы сосредоточимся на практических шагах — развертывании растянутого кластера на двух локациях + монитора в качестве tie-breaker с использованием cephadm .

https://habr.com/ru/companies/runity/articles/926040/

#ceph #кластер #цод #датацентр #репликация #placement_groups #rpo #crush #network #osd

[Перевод] Растянутый кластер Ceph: две локации + Tie-breaker. Часть 2

Продолжаем серию статей о растянутом кластере Ceph. В первой части мы представили концепции, лежащие в основе стратегий репликации Ceph и подчеркнули преимущества растянутого кластера для достижения нулевой потери данных (RPO=0). Во второй части мы сосредоточимся на практических шагах — развертывании растянутого кластера на двух локациях + монитора в качестве tie-breaker с использованием cephadm .

https://habr.com/ru/companies/runity/articles/926040/

#ceph #кластер #цод #датацентр #репликация #placement_groups #rpo #crush #network #osd

[Перевод] Растянутый кластер Ceph: две локации + Tie-breaker. Часть 2

Продолжаем серию статей о растянутом кластере Ceph. В первой части мы представили концепции, лежащие в основе стратегий репликации Ceph и подчеркнули преимущества растянутого кластера для достижения нулевой потери данных (RPO=0). Во второй части мы сосредоточимся на практических шагах — развертывании растянутого кластера на двух локациях + монитора в качестве tie-breaker с использованием cephadm .

https://habr.com/ru/companies/runity/articles/926040/

#ceph #кластер #цод #датацентр #репликация #placement_groups #rpo #crush #network #osd

[Перевод] Растянутый кластер Ceph: две локации + Tie-breaker. Часть 2

Продолжаем серию статей о растянутом кластере Ceph. В первой части мы представили концепции, лежащие в основе стратегий репликации Ceph и подчеркнули преимущества растянутого кластера для достижения нулевой потери данных (RPO=0). Во второй части мы сосредоточимся на практических шагах — развертывании растянутого кластера на двух локациях + монитора в качестве tie-breaker с использованием cephadm .

https://habr.com/ru/companies/runity/articles/926040/

#ceph #кластер #цод #датацентр #репликация #placement_groups #rpo #crush #network #osd

[Перевод] Растянутый кластер Ceph: основные концепции. Часть 1

При планировании репликации, аварийного восстановления, резервного копирования и восстановления данных мы выбираем из нескольких стратегий — в зависимости от требований к уровню SLA по восстановлению данных и приложений. Ключевые факторы при выборе включают в себя целевое время восстановления (RTO) и целевую точку восстановления (RPO). Синхронная репликация дает минимальную RPO, что означает невозможность потери данных. Ceph может реализовать синхронную репликацию между локациями, «растянув» свой кластер на несколько дата-центров. Асинхронная репликация по своей сути подразумевает ненулевое значение RPO. В Ceph асинхронная multi-site репликация подразумевает репликацию данных в другой кластер Ceph. Каждый метод доступа к хранилищу (объект, блок и файл) обладает собственным методом асинхронной репликации, реализованным на уровне конкретного компонента Ceph.

https://habr.com/ru/companies/runity/articles/921288/

#ceph #кластер #кластеры #rpo #восстановление_данных #датацентр #цод #репликация #асинхронная_репликация #синхронная_репликация

[Перевод] Растянутый кластер Ceph: основные концепции. Часть 1

При планировании репликации, аварийного восстановления, резервного копирования и восстановления данных мы выбираем из нескольких стратегий — в зависимости от требований к уровню SLA по восстановлению данных и приложений. Ключевые факторы при выборе включают в себя целевое время восстановления (RTO) и целевую точку восстановления (RPO). Синхронная репликация дает минимальную RPO, что означает невозможность потери данных. Ceph может реализовать синхронную репликацию между локациями, «растянув» свой кластер на несколько дата-центров. Асинхронная репликация по своей сути подразумевает ненулевое значение RPO. В Ceph асинхронная multi-site репликация подразумевает репликацию данных в другой кластер Ceph. Каждый метод доступа к хранилищу (объект, блок и файл) обладает собственным методом асинхронной репликации, реализованным на уровне конкретного компонента Ceph.

https://habr.com/ru/companies/runity/articles/921288/

#ceph #кластер #кластеры #rpo #восстановление_данных #датацентр #цод #репликация #асинхронная_репликация #синхронная_репликация

[Перевод] Растянутый кластер Ceph: основные концепции. Часть 1

При планировании репликации, аварийного восстановления, резервного копирования и восстановления данных мы выбираем из нескольких стратегий — в зависимости от требований к уровню SLA по восстановлению данных и приложений. Ключевые факторы при выборе включают в себя целевое время восстановления (RTO) и целевую точку восстановления (RPO). Синхронная репликация дает минимальную RPO, что означает невозможность потери данных. Ceph может реализовать синхронную репликацию между локациями, «растянув» свой кластер на несколько дата-центров. Асинхронная репликация по своей сути подразумевает ненулевое значение RPO. В Ceph асинхронная multi-site репликация подразумевает репликацию данных в другой кластер Ceph. Каждый метод доступа к хранилищу (объект, блок и файл) обладает собственным методом асинхронной репликации, реализованным на уровне конкретного компонента Ceph.

https://habr.com/ru/companies/runity/articles/921288/

#ceph #кластер #кластеры #rpo #восстановление_данных #датацентр #цод #репликация #асинхронная_репликация #синхронная_репликация

[Перевод] Растянутый кластер Ceph: основные концепции. Часть 1

При планировании репликации, аварийного восстановления, резервного копирования и восстановления данных мы выбираем из нескольких стратегий — в зависимости от требований к уровню SLA по восстановлению данных и приложений. Ключевые факторы при выборе включают в себя целевое время восстановления (RTO) и целевую точку восстановления (RPO). Синхронная репликация дает минимальную RPO, что означает невозможность потери данных. Ceph может реализовать синхронную репликацию между локациями, «растянув» свой кластер на несколько дата-центров. Асинхронная репликация по своей сути подразумевает ненулевое значение RPO. В Ceph асинхронная multi-site репликация подразумевает репликацию данных в другой кластер Ceph. Каждый метод доступа к хранилищу (объект, блок и файл) обладает собственным методом асинхронной репликации, реализованным на уровне конкретного компонента Ceph.

https://habr.com/ru/companies/runity/articles/921288/

#ceph #кластер #кластеры #rpo #восстановление_данных #датацентр #цод #репликация #асинхронная_репликация #синхронная_репликация

Как не запутаться в обновлениях 1C: работаем с «Обновлятором»

Распространенная головная боль пользователей 1C — обновление. Это нетривиальная задача, которая требует внимания ко множеству нюансов. Что‑то забыли, что‑то не учли — и уже потеря денег, а может быть, и данных. Мы рассмотрим несколько подобных примеров. Теперь многое становится проще. Рассказываем о том, как с помощью стороннего инструмента автоматизировать процесс, сэкономить время и избежать всех возможных препятствий. Уделим внимание работе с кластером в готовом облаке 1С

https://habr.com/ru/companies/selectel/articles/914134/

#selectel #1c #1cloud #1c_интеграция #1c_предприятие #1с_сервер #хранилище_данных #кластер #облачные_сервисы #облачные_сервисы_для_предприятий

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.

https://habr.com/ru/companies/flant/articles/875510/

#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные

Просто о сложном: зачем нужны Kube-Audit логи и как с ними подружиться

Популярность облачных платформ и контейнеров растет с каждым днем. Вместе с этим появляется необходимость в активном контроле и защите используемых решений. Есть много инструментов, которые могут сделать работу в K8s безопасной, а процессы — прозрачными и эффективными. Но в статье поговорим о самом недооцененном, но тем не менее актуальном способе для анализа безопасности в Kubernetes: о сборе Kube-Audit логов.

https://habr.com/ru/companies/chislitellab/articles/863224/

#kubernetes #kubeaudit #политика_аудита #анализ_безопасности #штурвал #логирование #audit_logs #кластер #логи #контейнеризация

Ютубер створив кластер з п’яти Apple Mac mini M4 — наскільки він ефективний? https://itc.ua/ua/novini/yutuber-stvoryv-klaster-z-p-yaty-apple-mac-mini-m4-naskilky-vin-efektyvnyj/ #Штучнийінтелект #MacMiniM4 #Пристрої #MacMini #Кластер #Новини #Apple #LLM #M4

Оптимизация Arenadata DB: как избежать критических ошибок и повысить производительность кластера

Привет, Хабр! Меня зовут Дмитрий Капралов, я работаю в команде консалтинга компании Arenadata. Одной из наших задач является проведение аудита кластеров СУБД Arenadata DB (ADB). Проектирование физической модели данных и настройка квотирования ресурсов кластера проводятся на этапе разработки хранилища. Однако при переходе системы в продуктивный режим профиль нагрузки кардинально меняется, и первоначальные настройки СУБД и архитектура данных нередко оказываются не готовы к такой нагрузке. В процессе эксплуатации могут возникнуть узкие места, замедляющие работу системы. В этой статье я хочу поделиться опытом нашей команды по выявлению и оптимизации подобных проблем.

https://habr.com/ru/companies/arenadata/articles/852830/

#adb #greenplum #cpu #управление_нагрузкой #кластер #партиционирование #sql #memory #mpp #производительность

Почти всё о Carbonio Mesh

Carbonio Mesh - это инфраструктурный модуль почтового сервера Carbonio, позволяющий обеспечить связность, отказоустойчивость и возможность мониторинга различных сервисов Carbonio и интеграцию их с Carbonio LDAP. В данной статье мы расскажем о том, из чего состоит система Carbonio Mesh, а также о том, как обеспечить эффективное взаимодействие с ней.

https://habr.com/ru/companies/Zextras/articles/821397/

#carbonio #carbonio_ce #zextras #электронная_почта #кластер #кластеризация #кластеры #consul

Что делать, когда кластер превращается в тыкву?

Когда эволюция платформы Разделение etcd. Что это значит?

https://habr.com/ru/companies/dbraincloud/articles/793180/

#etcd #разделение #keyvalue #миграция #высоконагруженные_проекты #kubernetes #api #хранилище_etcd #kubeapiserver #кластер

[Перевод] Опыт масштабирования Kubernetes на 2k узлов и на 400k подов

Расскажу, как мы в PayPal начинали осваивать Kubernetes. На тот момент большинство наших рабочих нагрузок выполнялось на Apache Mesos, и в рамках этой миграции нам требовалось разобраться с некоторыми аспектами производительности у кластеров, в которых будет работать Kubernetes – с учётом той плоскости управления, что действует в PayPal. Из всех этих аспектов важнее всего было понять, как именно масштабируется платформа, а также выявить, как можно было бы улучшить масштабируемость, настраивая параметры кластера. Тогда как Apache Mesos может прямо из коробки масштабироваться вплоть до 10 000 узлов, масштабировать Kubernetes непросто. При масштабировании Kubernetes требуется учитывать не только количество узлов и подов, но и ещё некоторые вещи, в частности: сколько ресурсов создано, сколько у нас контейнеров на под, сколько всего сервисов задействовано, а также пропускная способность при развёртывании подов. В этом посте описаны некоторые проблемы, с которыми нам довелось столкнуться при масштабировании, и рассказано, как нам удалось с ними справиться.

https://habr.com/ru/companies/timeweb/articles/787774/

#timeweb_статьи_перевод #Kubernetes #Apache_Mesos #PayPal #сервис #etcd #кластер #Google_Cloud_Platform #инстансы #бенчмаркинг #QoS

[Перевод] Опыт масштабирования Kubernetes на 2k узлов и на 400k подов

Расскажу, как мы в PayPal начинали осваивать Kubernetes. На тот момент большинство наших рабочих нагрузок выполнялось на Apache Mesos, и в рамках этой миграции нам требовалось разобраться с некоторыми аспектами производительности у кластеров, в которых будет работать Kubernetes – с учётом той плоскости управления, что действует в PayPal. Из всех этих аспектов важнее всего было понять, как именно масштабируется платформа, а также выявить, как можно было бы улучшить масштабируемость, настраивая параметры кластера. Тогда как Apache Mesos может прямо из коробки масштабироваться вплоть до 10 000 узлов, масштабировать Kubernetes непросто. При масштабировании Kubernetes требуется учитывать не только количество узлов и подов, но и ещё некоторые вещи, в частности: сколько ресурсов создано, сколько у нас контейнеров на под, сколько всего сервисов задействовано, а также пропускная способность при развёртывании подов. В этом посте описаны некоторые проблемы, с которыми нам довелось столкнуться при масштабировании, и рассказано, как нам удалось с ними справиться.

https://habr.com/ru/companies/timeweb/articles/787774/

#timeweb_статьи_перевод #Kubernetes #Apache_Mesos #PayPal #сервис #etcd #кластер #Google_Cloud_Platform #инстансы #бенчмаркинг #QoS

[Перевод] Что происходит, когда вы создаёте Pod в Kubernetes?

Создание Pod в Kubernetes — простая задача. Но под капотом скрывается сложный рабочий процесс, который затрагивает несколько компонентов кластера. Делимся переводом статьи, где автор рассказывает, что в этот момент происходит в кластере. Статья будет полезна тем, кто изучает Kubernetes, знакомится с его компонентами и абстракциями.

https://habr.com/ru/companies/slurm/articles/783708/

#kubernetes #k8s #itинфраструктура #devops #инфраструктура #кластер #pod

Как не сойти с ума, помечая цели для сбора метрик при мониторинге кластера. Спойлер: Victoria Metrics + Grafana

В начале не было ничего. И создал DevOps кластер Kubernetes и сказал, что это есть хорошо. Но пришли злые программисты и начали требовать информацию о том, сколько ресурсов потребляют их контейнеры. Статическая vs динамическая конфигурация

https://habr.com/ru/companies/dbraincloud/articles/782268/

#мониторинг #мониторинг_логов #victoriametrics #grafana #job #kubernetes #конфигурация #кластер #контейнеризация #стек

[Перевод] Как построить локальный self-managed Kubernetes-кластер

Возможно, у вас была мысль запустить собственную услугу Infrastructure as a Service (IaaS) либо разместить свои проекты на Kubernetes, но не платить за managed-услуги, или ваш проект — это и есть self-managed Kubernetes. У full-stack-разработчика и предпринимателя Нейта Бакареффа эти желания сошлись воедино. Он решил научиться развертывать собственный кластер на виртуальных выделенных серверах, о чем и рассказал в своем блоге. Эта статья является переводом его материала.

https://habr.com/ru/companies/flant/articles/778394/

#qemu #selfmanaged #cluster #kubernetes #кластер #linux #виртуальная_машина #ingress_controller #devops #облако