#jobset — Public Fediverse posts

Планируем GPU-нагрузку в Kubernetes: от стандартных механизмов до кастомных решений

Привет, Хабр! Меня зовут Макарий, и как Senior SRE в Yandex Cloud я не только участвовал в разработке Managed Service for Kubernetes, но и всегда любил в свободное время посмотреть, что интересного понавыпускали для «кубика». Kubernetes, как де‑факто стандарт оркестрации контейнеров, предлагает базовые механизмы для управления вычислительными ресурсами. Однако стандартный планировщик Kubernetes (kube‑scheduler) разрабатывался с учётом общих принципов балансировки нагрузки и не специализирован для уникальных особенностей рабочих GPU‑нагрузок. Предлагаю рассмотреть весь спектр возможностей — от встроенных механизмов шедулинга K8s до специализированных планировщиков, таких как Volcano, Apache YuniKorn и KAI‑Scheduler. Проанализирую конкретные сценарии, в которых каждый из этих инструментов демонстрирует свои преимущества, и предложу рекомендации по выбору оптимального решения для ваших рабочих GPU‑нагрузок.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/971026/

#kubernetes #scheduler #scheduling #kai #Apache_YuniKorn #JobSet #Volcano_Scheduler #Kueue

#Kubecon is just a few weeks away! 😱 And guess what, half of our talk (first in the list here https://www.cncf.io/announcements/2023/08/30/cloud-native-computing-foundation-unveils-schedule-for-kubecon-cloudnativecon-north-america-2023/) showcasing #JobSet is done and I am so excited! 😍 I can't wait to share with you some of our collaborative work in #LivermoreComputing for #ConvergedComputing and the fabulous JobSet! 🎉

The #kubecon schedule is live!! 🎉😍
We are coming back for more fun!! 🤯🦖😄

Come learn about the #JobSet API for running complex workflows/experiments for cloud and #HPC on #Kubernetes!

Let's move to a future of working together in this #convergedcomputing space. ❤️

https://twitter.com/CloudNativeFdn/status/1696931060544647453