#балансировка_нагрузки — Public Fediverse posts

[Перевод] Аварийное восстановление мультикластерного Kubernetes с Linkerd и HAZL

Высокая доступность приложений помогает выполнять договорные обязательства и соответствовать ожиданиям пользователей. Для этого многие платформенные команды развёртывают кластеры Kubernetes в локальных и облачных окружениях, распределяя их между зонами доступности, регионами и даже провайдерами. Сбой возможен на любом уровне этой инфраструктуры, поэтому нужно заранее проверить, как сервисная сетка поведёт себя при масштабной аварии. Команда VK Tech перевела статью о том, как протестировать аварийное восстановление мультикластерной конфигурации Linkerd и подготовить сервисную сетку к таким сбоям. Статья адресована организациям, которые уже используют или планируют использовать сервисную сетку в мультикластерной конфигурации. Если вы только знакомитесь с этим подходом, начните с руководства по поддержке мультикластерности в Linkerd , изучите преимущества и недостатки мультикластерного Kubernetes и разберитесь в трёх типах мультикластерных архитектур , которые поддерживает Linkerd. Другие полезные материалы перечислены в конце статьи. Авторы моделируют реалистичную мультикластерную конфигурацию с открытой версией Linkerd и Buoyant Enterprise for Linkerd (BEL) и разбирают сценарии аварийного восстановления сервисной сетки. Они показывают, от чего зависит восстановление, как воспроизвести сбои в своих кластерах и какие действия помогут устранить выявленные проблемы. Даже если вы не будете запускать демонстрационную конфигурацию самостоятельно, метрики и результаты экспериментов помогут повысить устойчивость сетки и разобраться в роли Buoyant High Availability Zonal Load Balancing (HAZL) — механизма балансировки нагрузки с учётом зон доступности.

https://habr.com/ru/companies/vktech/articles/1096586/

#отказоустойчивость #балансировка_нагрузки #аварийное_восстановление #kubernetes #linkerd #service_mesh #chaos_mesh #зоны_доступности #hazl #мультикластерная_архитектура

Один адрес на все хранилища, или как я перестал бояться переездов S3

У меня несколько кластеров Ceph с S3, они стоят в разных ЦОД, и у каждого свой адрес, свои пользователи и свои ключи. Каждый переезд кластера превращался в обход всех сервисов с правкой конфигов, и в какой-то момент мне это надоело. В статье расскажу, как я сделал для всех один адрес и балансер, который по access key сам находит нужный кластер, не трогая подпись и не зная секретов, как он переживает отказы, переезды и multisite, и почему в итоге по карте трафика у меня ездят машинки.

https://habr.com/ru/articles/1095748/

#s3 #отказоустойчивость #балансировка_нагрузки #multisite #ceph #миграция_данных #rgw #katran

7 шагов для подготовки инфраструктуры к высоким нагрузкам, атакам и сбоям

Подробный чек-лист, чтобы проверить, готова ли ваша инфраструктура к форс-мажорам . Когда ИТ-инфраструктура даёт сбой, последствия ощущает весь бизнес: клиенты не могут оплатить заказ или воспользоваться услугой, сотрудники — получить доступ к рабочим системам. Причиной может стать высокая нагрузка, кибератака или отказ оборудования. Меня зовут Никита Демянчук, я руковожу группой технического взаимодействия с клиентами EdgeCenter. В этой статье разберу семь шагов, которые помогут проверить готовность инфраструктуры: найти слабые места, выбрать подходящие меры защиты и подготовиться к восстановлению после сбоя.

https://habr.com/ru/companies/edgecenter/articles/1094840/

#облако #cdn #иб #кибербезопасность #облачные_вычисления #отказоустойчивость #балансировка_нагрузки #отказоустойчивые_системы #отказоустойчивые_решения #киберзащищенность

Рулим в облака: деплой микросервиса генерации ID в Kubernetes

Привет, Хабр! Продолжаю серию статей по проектированию и разработке отказоустойчивой микросервисной системы сокращения ссылок. Если вы только присоединились, рекомендую ознакомиться с предыдущими частями:

https://habr.com/ru/articles/1084446/

#микросервисная_архитектура #оркестрация_контейнеров #go #балансировка_нагрузки #обнаружение_сервисов

Сервера: распределяем нагрузку

«Просто арендую сервер помощнее». Так я думал, когда пет-проект внезапно оброс людьми. Мой проект начинался с одной виртуальной машины. Пока пользователей было мало, всё работало. С ростом нагрузки обычные запросы начали ждать завершения тяжёлых вычислений. В логах появились тайм-ауты, очередь росла, а покупка сервера помощнее давала только временный эффект. Я изучил, как похожие проблемы решают крупные компании, и применил эти принципы на практике. В статье покажу, какие архитектурные решения я подсмотрел у больших сервисов и как адаптировал их для небольшого проекта. Разберём, почему мощного сервера недостаточно, как разделять короткие запросы и длительные вычисления, и зачем балансировать не абстрактные запросы, а конкретный ресурс, который становится узким местом.

https://habr.com/ru/companies/timeweb/articles/1077640/

#балансировка_нагрузки #масштабирование #очереди_задач #воркеры #prequal #HOBA #timeweb_cloud #timeweb_статьи

[Перевод] Роутинг NGINX на предикатах для обработки API-трафика без скриптов

Типовую задачу проксирования трафика на базе заголовков и тела HTTP-запроса теперь можно решать напрямую с помощью предикатных локейшенов в NGINX. До версии 1.31.5 для этого применяли тяжелые скрипты (медленно) и лабиринты из редиректов (неудобно). Теперь можно создать блоки location на базе любой переменной. В этом блоге разбираем методики чтения запроса и показываем примеры паттернов конфигурирования NGINX, которые вы можете применять для любого API или AI-трафика.

https://habr.com/ru/articles/1080058/

#nginx #api #json #njs #балансировка_нагрузки #http #api_gateway #mcp

Как пережить резкий рост нагрузки в Kubernetes без надежды только на автоскейлинг

Автоскейлинг часто воспринимают как страховку от любых всплесков нагрузки: вырос CPU — появились новые поды. Но в реальных системах между перегрузкой и запуском дополнительных ресурсов есть критический промежуток, когда база уже может исчерпать соединения, а пользователи начнут получать ошибки. Разберём, как проектировать систему для таких ситуаций: использовать отбрасывание нагрузки, адаптивные лимиты и управляемую деградацию, чтобы сервис продолжал работать даже во время пиков. Разобрать подход

https://habr.com/ru/companies/otus/articles/1076370/

#высоконагруженные_системы #масштабирование #архитектура_систем #отказоустойчивость #автоскейлинг #Kubernetes #балансировка_нагрузки #распределённые_системы #PostgreSQL #производительность

Termidesk Connect: переписываем сценарии балансировки для российского бизнеса

Привет, Хабр! Меня зовут Ильнар Зайнуллин, я системный инженер в К2Тех. В этой статье хочу показать, как Termidesk Connect ведет себя в реальных сценариях балансировки – от «одного белого IP» до защищенной почты на MS Exchange.

https://habr.com/ru/companies/k2tech/articles/1066492/

#балансировщик #open_source #OSS #балансировка_нагрузки #reverse_proxy #Kerberos #exchange #nginx #haproxy #termidesk

В nginx один алгоритм балансировки

server a.internal weight=10 max_fails=2; — десять к одному. Ночью бэкенд на пару секунд отвалился, к утру давно жив и из ротации не выведен. А первые полсотни запросов рабочего дня распределяются не 10:1, и среди них есть места, где два запроса подряд уходят на сосед с весом единица. Ни один лог об этом не скажет, в документации по upstream такого объяснения нет. Есть — в двух строках ngx_http_upstream_round_robin.c. Разбираем по тегу release-1.31.3, со ссылками файл:строка: smooth weighted round-robin и его восемь копий в исходниках; effective_weight, которого нет в документации, и то, как max_fails втихую им управляет; почему least_conn сравнивает не число соединений; почему ip_hash не работает на unix-сокетах. Плюс sticky и least_time, приехавшие в open source несколько месяцев назад.

https://habr.com/ru/articles/1066752/

#nginx #upstream #балансировка_нагрузки #load_balancing #roundrobin #weighted_round_robin #исходный_код #least_conn #ip_hash #sticky

Балансировка кластера NGFW: 5 особенностей, которые важно учитывать при построении высокопроизводительной инфраструктуры

На первый взгляд балансировка кластера NGFW мало отличается от балансировки других средств информационной безопасности или ИТ-сервисов. Однако на практике такая архитектура имеет ряд особенностей, которые необходимо учитывать уже на этапе проектирования. В статье разберем пять ключевых особенностей построения высокопроизводительного кластера NGFW: от работы балансировщика на уровне L2 и обеспечения симметричной обработки сетевых сессий до резервирования компонентов решения и контроля состояния кластера.

https://habr.com/ru/companies/dsol/articles/1065008/

#масштабирование #отказоустойчивость #отказоустойчивый_кластер #highload #high_availability #балансировка_нагрузки #высокая_производительность #ds_proxima #балансировщик_нагрузки

Шардинг в Manticore Search: автоматическое распределение и репликация

На старте поисковая система часто устроена просто: одна таблица на одном сервере. Это работает, пока не случится одно из двух. Либо отдельный запрос перестаёт задействовать весь CPU, за который вы заплатили, либо одного сервера перестаёт хватать — по объёму, по пропускной способности или просто потому, что сервер может выйти из строя, и данные на нём будут потеряны. Автоматический шардинг, встроенный в Manticore Search и доступный начиная с релиза 27.1.5 , решает обе проблемы, разбивая таблицу на несколько физических фрагментов меньшего размера (шардов), по которым можно выполнять поиск параллельно и которые можно размещать на разных узлах :

https://habr.com/ru/articles/1055064/

#шардинг #шардирование #высокая_производительность #масштабирование_систем #масштабирование_поиска #распределение_данных #кластер #репликация #балансировка_нагрузки

Как повысить отказоустойчивость сервисов в кластере виртуализации с помощью оптимизации их распределения

Всем привет! Это первая публикация из цикла статей про распределение сервисов в кластере виртуализации. В статье будет описан один из подходов к решению задачи от определения проблемы до результатов тестов с демонстрацией работы готового решения.

https://habr.com/ru/articles/1054324/

#инфраструктура #виртуализация #кластер #сервисы #надёжность #отказоустойчивость #оптимизация #виртуальные_машины #балансировка_нагрузки #метрики_качества

Как российские ADC догоняют F5 и кому еще нужен параллельный импорт: большой тест-драйв балансировщиков

Балансировщики нагрузки в России за последние несколько лет превратились из «серой коробочки где‑то в инфраструктуре» в фундаментальный элемент отказоустойчивости инфраструктуры. И если на старте импортозамещения все просто искали чем быстро заменить ушедших F5 и Citrix, то сегодня фокус сместился на производительность, безопасность и то, насколько решение вписывается в существующие практики DevOps/NetOps. Отечественные вендоры времени зря не теряли. С момента нашего последнего тест-драйва российские ADC сделали большой рывок и по функционалу, и по качеству. При этом знакомые F5 по-прежнему попадают в страну через параллельный импорт и держатся в проде потому, что «оно уже работает, а переделывать всё страшно и дорого». Под катом разбираем реальную картину рынка балансировщиков на сегодняшний день. Насколько отечественные ADC приблизились к западному энтерпрайзу, в каких сценариях параллельный импорт еще имеет смысл, а где проще один раз мигрировать и забыть.

https://habr.com/ru/companies/k2tech/articles/1044530/

#балансировка_нагрузки #балансировка_трафика #adc #импортозамещение #отказоустойчивость #миграция_итинфраструктуры #gslb #f5

Балансировка входящего трафика на железе: как надёжно вывести K8s наружу с MetalLB, BGP и L2 (подход от Deckhouse)

На bare metal внешний доступ к Kubernetes часто становится головной болью: NodePort с рандомными нестандартными портами не для продакшена, а облачного балансировщика нет. MetalLB превращает обычные узлы кластера в полноценный балансировщик с автоматическим failover. Разбираем режимы BGP и L2, а ещё показываем фишку Deckhouse Kubernetes Platform, которая спасает активные соединения при падении узла.

https://habr.com/ru/companies/flant/articles/1039392/

#nodeport #kubernetes #bgp #metallb #deckhouse_kubernetes_platform #baremetal #балансировка_нагрузки #l2 #nlb #loadbalancer

YARL: как мы развиваем распределённый Rate Limiter

Привет, это Всеволод Иванов и Артём Икчурин из Yandex Infrastructure — в нашей инфраструктурной команде Cloud Storage Services мы занимаемся разработкой хранилищ, которые внутри компании используются самыми разными сервисами. В Яндексе есть несколько систем хранения для разных задач, в том числе объектное хранилище для неструктурированных данных. Несколько лет назад мы искали способы ограничить нагрузку на внутренний сервис S3 — так появилось наше собственное решение Yet Another Rate Limiter, или YARL, о котором мы уже писали на Хабре . Сегодня расскажем, как развивается наш лимитер. Так что если вам интересны высокие нагрузки, рекомендуем ознакомиться с предыдущей статьёй и затем вместе с нами отправиться под кат за продолжением.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/1034852/

#yarl #rate_limiter #rate_limiting #балансировка_нагрузки

Девять испытаний роста нагрузки: от стартапа к приложению для 25 миллионов пользователей

Эта статья совсем не технический анализ, а увлекательный рассказ о том, как маленький, но очень перспективный стартап стал топовым приложением, а также о том, какие сложности встали на пути команды разработки, DevOps и тестирования X5 Tech. Мы сразу заложили основные принципы нагруженного приложения: микросервисы как основа всего, полное покрытие метриками, асинхронность, кэширование на максималках. Какую-то функциональность разрабатывали сами, где-то задействовали сервисы других техкоманд из X5, а где-то и сторонние решения с рынка. Весь код писали на Python, использовали FastAPI и другие популярные на тот момент фреймворки и технологии.

https://habr.com/ru/companies/X5Tech/articles/1029410/

#highload #микросервисы #latency #postgresql #elasticsearch #kubernetes #hpa #балансировка_нагрузки #нагрузочное_тестирование #observability

Не только про производительность — балансировщик как основа отказоустойчивости современных инфраструктур

Когда говорят о балансировщике нагрузки, чаще всего имеют в виду распределение трафика между серверами. Но в реальной инфраструктуре его ключевая роль проявляется в другом — в способности системы продолжать работать, когда что-то ломается. Причём ломаться может всё: отдельные серверы, сервисы, целые дата-центры. В этой статье разбираем, как балансировщик становится точкой принятия решений в сценариях отказоустойчивости — от health checks до переключения между ЦОД — и почему без этих механизмов одной «балансировки» недостаточно.

https://habr.com/ru/companies/dsol/articles/1029114/

#балансировщик #балансировка_нагрузки #отказоустойчивость #отказоустойчивый_кластер #масштабирование #high_availability #высокая_доступность

Параллельное слияние чанков в Manticore Search

Начиная с Manticore Search 24.4.0 , компактизация RT-таблиц использует более эффективную модель выполнения. Вместо последовательного слияния пар чанков оптимизация теперь поддерживает два важных улучшения:

https://habr.com/ru/articles/1022634/

#чанки #полнотекстовый_поиск #индексирование_текста #индексирование_данных #многопоточность #балансировка_нагрузки

Почему эволюция не прошла бы код-ревью: инженерный разбор гемоглобина

Представьте, что вам на собеседовании дали задачу: спроектировать систему доставки газа по трубам переменного давления, причём система должна загружаться почти на 100% в зоне высокого давления, а разгружаться (быстро и почти полностью) в зоне низкого. Вы бы, наверное, нарисовали линейную зависимость. Больше давления — больше загрузка. Просто, и главное, что будет легко тестировать. Эволюция посмотрела на этот вариант, подумала 500 миллионов лет и сделала всё наоборот.

https://habr.com/ru/articles/1016514/

#архитектура_по #биология #эволюция #гемоглобин #микросервисы #антипаттерны #god_object #srp #балансировка_нагрузки #научпоп

Прикладная эквилибристика и манулы: балансировка от L1 до L7

Привет, Хабр! Я Павел Михайлик, архитектор в центре сетевых решений «Инфосистемы Джет». Сегодня я расскажу о балансировке в сети и почему она важна при наблюдении за манулами. «Балансирование нагрузки», «ADC», «GSLB», anycast, ECMP, — много разных терминов и ещё больше разных сценариев реализации, как в постановке задачи, так и в методах и механике реализации. Итак, давайте попробуем для начала наметить основные критерии, по которым можно разделить разные типы балансирования нагрузки. Подробнее о манулах

https://habr.com/ru/companies/jetinfosystems/articles/990640/

#балансировка #балансировка_нагрузки #системное_администрирование #балансировка_трафика #балансировщик_нагрузки #сетевые_технологии #сетевая_инфраструктура #сетевое_администрирование #сетевой_инженер #сетевая_архитектура

Ingress-контроллеры: Nginx, Traefik, HAProxy — разбираемся, кто вам подойдет

Привет, Хабр! Каждый человек рано или поздно сталкивается с выбором, какой ingress‑контроллер использовать для маршрутизации трафика. Помнится, раньше многие думали, что достаточно взять Nginx и не париться. Но реальность, как это обычно бывает, сложнее. Есть по меньшей мере три мощных игрока: NGINX, Traefik и HAProxy. И у каждого свои фичи и проблема. Читать разбор

https://habr.com/ru/companies/otus/articles/979316/

#kubernetes #ingress #ingressконтроллер #маршрутизация_трафика #балансировка_нагрузки #Gateway_API

Глобальная балансировка веб-ресурсов в геораспределённой инфраструктуре

Привет, Хабр! Если представить ваш высоконагруженный сайт в виде оркестра, а пользователей — в виде слушателей по всему миру (Москва, Владивосток, Берлин), то ситуация, когда все «музыканты» играют в одном ЦОДе, напоминает концерт, который кто-то слушает вживую, а кто-то — по плохой телефонной линии. Пинг растёт, пакеты теряются, трафик упирается в потолок возможностей ЦОДа, и в случае его отказа наступает тишина. Решение — вынести «сцены» ближе к «зрителям»: построить геораспределённую инфраструктуру и научиться направлять пользователей на ближайший живой узел. В этом материале, основанном на моём докладе для

https://habr.com/ru/companies/oleg-bunin/articles/979582/

#балансировка_нагрузки #высоконагруженные_системы #архитектура #цод #highload #балансировка #DNS

Упрощаем работу с микросервисами при помощи API Gateway на Java

Микросервисы легко разрастаются до зоопарка эндпоинтов, где каждый сервис живёт по своим правилам, а клиенту приходится знать обо всех. В статье разберем, как API Gateway превращает этот хаос в единую точку входа: берёт на себя маршрутизацию, аутентификацию, агрегацию запросов и наблюдаемость. На простом примере с Spring Cloud Gateway рассмотрим, как собрать такой слой поверх Java-сервисов и упростить жизнь и разработчикам, и внешним потребителям API. Разобраться с Gateway

https://habr.com/ru/companies/otus/articles/968028/

#java #microservices #api_gateway #микросервисная_архитектура #Spring_Cloud_Gateway #маршрутизация_запросов #аутентификация #авторизация #балансировка_нагрузки

Высоконагруженный reverse-proxy на YARP

Привет, Хабр! Сегодня поговорим о том, как на практике построить высоконагруженный обратный прокси-сервер на основе YARP, отличной библиотеки от Microsoft для .NET. К статье

https://habr.com/ru/companies/otus/articles/960358/

#C# #ASPNET #обратный_прокси #высокая_нагрузка #балансировка_нагрузки #высоконагруженные_системы #YARP #отказоустойчивость

MLAG как замена Spanning Tree

Сетевой протокол канального уровня Spanning Tree достаточно широко распространен в современных сетях. Его используют для борьбы с закольцовыванием сетевой топологии. Однако, STP не позволяет полностью использовать каналы, к которым подключены несколько линков. Плюс к этому у STP относительно большое время сходимости и необходимость передавать трафик через корневой коммутатор, то есть единая точка отказа. В качестве одной из альтернатив Spanning Tree можно воспользоваться MLAG. Multi-Chassis Link Aggregation (MLAG) — технология, обеспечивающая балансировку нагрузки и надежность каналов. В этой статье рассматриваются значение, важность и потенциальные варианты использования MC-LAG на различных уровнях сети.

https://habr.com/ru/companies/otus/articles/967306/

#mlag #lag #Сетевые_технологии #Spanning_Tree #Аггрегация_каналов #Отказоустойчивость_сети #Балансировка_нагрузки #Центр_обработки_данных #Резервирование_каналов

Балансировка нагрузки в Яндексе: новые проблемы роста

Всем привет, меня зовут Володя. Я работаю в Yandex Infrastructure и занимаюсь развитием систем балансировки нагрузки. В статье расскажу, как развивалась наша новая система управления конфигураций с момента её создания в 2018 году, а ещё о том, как мы переходили на новый Data Plane балансировки и какие новые интересные вызовы это породило с точки зрения массовости задач и управления ресурсами. Опишу новые проблемы и особенности, в том числе планирование ресурсов для большого динамичного парка клиентов. Также обсудим, какие бывают долговременные негативные последствия у слишком удобных систем балансировки нагрузки и что мы планируем с этим делать.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/967212/

#балансировка_нагрузки #балансировка #балансировщик #yanet #dpdk #ipvs #loadbalancing

Развёртывание боевого кластера Cassandra. Часть 3

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой и второй частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2.Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 5. Настройка топологии кластера 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста Двинемся дальше?

https://habr.com/ru/articles/940268/

#cassandra #базы_данных #инфраструктура #highload #топология #кластер #репликация #консистентность #балансировка_нагрузки #devops

Я применил систему беговых тренировок в работе

Стремлюсь сохранять баланс между работой и отдыхом. А это непросто: таски разной сложности падают в хаотичном порядке. Стабильно держать продуктивность и не выгорать мне помогает система из беговых тренировок. Если вы тоже стремитесь к балансу, этот текст может быть вам полезен. Читать и начать тренировку

https://habr.com/ru/companies/clevertec/articles/938590/

#продуктивность #удаленная_работа #Психология #карьера #бег #Карьерные_навыки #таймменеджмент #здоровье #балансировка_нагрузки #отдых_после_работы

Балансировка нагрузки для HTTP(S) в Angie

Балансировка нагрузки в веб‑сервисах решает сразу две задачи: масштабирование и отказоустойчивость. В этой статье поговорим о возможностях балансировки нагрузки для HTTP(S) протокола в Angie. Теоретическая основа, описание алгоритмов уже описана разработчиком Angie, поэтому рекомендую обращаться к статьям с обзором балансировки и алгоритмам балансировки в Angie. Здесь же разберём практическую сторону настройки балансировки.

https://habr.com/ru/articles/935934/

#nginx #angie #балансировка_нагрузки #l7_балансировка #http #https

Балансировка Exchange Server 2019 и корпоративного портала на одном внешнем IP

Привет, Хабр! На связи Алексей Ежков из из Cloud4Y. Один внешний IPv4, десятки пользователей Exchange и растущий трафик портала — звучит как головоломка? В этой статье я покажу, как мы решили её, заведя всё хозяйство за единственным IP и обеспечив максимальную защиту.

https://habr.com/ru/companies/cloud4y/articles/933070/

#HAProxy #exchange_server_2019 #Балансировка_нагрузки #SNI #SSL