#автомасштабирование — Public Fediverse posts

[Перевод] Повесть о двух автоскейлерах Flink

Команда VK Cloud перевела материал Netflix о двух подходах к автомасштабированию Apache Flink. Сначала компания разработала собственный автоскейлер, который анализировал внешние метрики кластера и эффективно экономил ресурсы на простых потоковых конвейерах. Но с ростом числа stateful-задач и сложных графов обработки этого стало недостаточно. В статье — о том, чем автомасштабирование на уровне отдельных операторов отличается от масштабирования всего кластера, как Flink Autoscaler использует показатель True Processing Rate, зачем Netflix запускает отдельный Temporal workflow для каждой задачи и почему ради стабильности иногда выгоднее сознательно оставить запас вычислительных ресурсов.

https://habr.com/ru/companies/vktech/articles/1082310/

#vk_cloud #Apache_Flink #стриминг_данных #автомасштабирование #Flink_Autoscaler #Kubernetes #TaskManager #statefulобработка #Kafka_lag #наблюдаемость

Переполнение диска в БД: обзор сценариев и механизмов защиты

База данных — бизнес-критический компонент любой ИТ-инфраструктуры, поэтому вопрос обеспечения ее доступности и отказоустойчивости обычно находится в центре внимания. Однако, фокусируясь на отказоустойчивости, компании нередко недооценивают риск переполнения диска. При этом подобные ситуации могут оставаться незамеченными до полной остановки записи БД, например при заполнении отдельного раздела, где хранятся данные или WAL. Привет, Хабр. Меня зовут Александр Шмелёв. Я Team Lead команды разработки Databases, VK Tech. В этой статье я расскажу о рисках и причинах переполнения дисков, а также рассмотрю несколько способов предотвращения подобных проблем.

https://habr.com/ru/companies/vk/articles/1066922/

#vk_cloud #databases #переполнение_диска #wal #репликация #мониторинг #алерты #автомасштабирование #readonly_режим #отказоустойчивость

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

https://habr.com/ru/companies/vktech/articles/1040076/

#vk_cloud #llm #kubernetes #inference #gpu #nvidia #дезагрегированный_инференс #оркестрация #автомасштабирование #планирование_подов

Один кластер, чтобы править всеми: централизованное автомасштабирование в Kubernetes

Автомасштабирование в Kubernetes без приземления на реальные условия выглядит просто: раскатываете приложение, а ваш проект автоматически подстраивается под рост и спад нагрузки с помощью «магии Kubernetes». Но на деле «из коробки» это не работает. Кластер поддерживает ровно то количество реплик, которое указано в манифестах приложения, поэтому агрессивное масштабирование приложений без масштабирования кластера рано или поздно упрется в потолок. А если ваша инфраструктура не облачная, а локальная и состоит из множества разрозненных платформ виртуализации, то ресурс инженеров будет уходить на ручные операции. Привет, Хабр! В этой статье мы поделимся опытом инженерной команды практики контейнеризации К2Тех поговорим о том, какие решения позволяют автоматизировать ручной труд по масштабированию в Kubernetes. Начнём рассматривать инструменты с нижних уровней, постепенно продвигаясь вверх: от уровня подов до уровня всего кластера. В итоге придем к централизованному управлению всеми рабочими нагрузками в парке кластеров, без привязки к конкретному облаку или провайдеру инфраструктуры.

https://habr.com/ru/companies/k2tech/articles/1006862/

#автомасштабирование #kubernetes #кластеризация #платформа_виртуализации #масштабирование_приложений

Когда гибридная архитектура лучше чистого облака или выделенного сервера

Разбираем, в каких случаях гибридная инфраструктура дает лучший результат, чем чистое облако или выделенный сервер. Почему она экономит деньги на пиковых нагрузках, когда стоит её выбрать и с какими задачами справляется лучше остальных.

https://habr.com/ru/companies/hostkey/articles/976120/

#hostkey #гибридная_архитектура #автомасштабирование #выделенный_сервер #облачные_вычисления #Nginx #PostgreSQL #Prometheus #DevOps #пиковые_нагрузки

Автомасштабируем узлы кластера Kubernetes. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы максимально, но требовать дополнительных ресурсов, например, для параллельной обработки нескольких объектов в очереди. Триггером масштабирования кластера может быть не утилизация, а события от внешних систем — например, очереди сообщений Kafka, системы мониторинга Prometheus или от платформы CI/CD. Всем привет! Меня зовут Илья Смирнов, я архитектор решений в

https://habr.com/ru/companies/cloud_ru/articles/941976/

#keda #k8s #kubernetes #автомасштабирование #managed_kubernetes

Автомасштабирование KEDA. Часть 1

Автомасштабирование узлов кластера Kubernetes и горизонтальное масштабирование подов позволяют быстро расширить ресурсы при пиковых нагрузках. Но сложные приложения могут не нагружать поды или узлы максимально, но требовать дополнительных ресурсов, например, для параллельной обработки нескольких объектов в очереди. Триггером масштабирования кластера может быть не утилизация, а события от внешних систем — например, очереди сообщений Kafka, системы мониторинга Prometheus или от платформы CI/CD. Всем привет! Меня зовут Илья Смирнов, я архитектор решений в Читать дальше

https://habr.com/ru/companies/cloud_ru/articles/940956/

#keda #kubernetes #k8s #автомасштабирование #managed_kubernetes #cloudru_evolution

Auto-Scaling в телеграм-ботах

Салют, Хабр! Auto-scaling, или автоматическое масштабирование, — это механизм, позволяющий гибко адаптироваться к изменяющимся условиям нагрузки, автоматически расширяя или сокращая ресурсы. Эта технология очень актуальна в нашем мире. К примеру вы создали свой невероятно крутой телеграм-бот, который стал неожиданно стрельнул. Сначала он справлялся со стабильным потоком запросов, но по мере роста и увеличения активности сабов бота, стало очевидно, что требуется более масштабируемая инфраструктура. Auto-scaling позволит не только поддерживать стабильную работу бота при всплесках активности, но и существенно снизит затраты на поддержание избыточной инфраструктуры в периоды низкой активности.

https://habr.com/ru/companies/otus/articles/781458/

#python #боты #автомасштабирование