#kubeflow — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kubeflow, aggregated by home.social.
-
Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)
Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.
https://habr.com/ru/companies/sovcombank_technologies/articles/994534/
#MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор
-
Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)
Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.
https://habr.com/ru/companies/sovcombank_technologies/articles/994534/
#MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор
-
Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)
Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.
https://habr.com/ru/companies/sovcombank_technologies/articles/994534/
#MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор
-
🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.
Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.
For now: thank you to the community for making this possible. 💙
#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow
-
🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.
Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.
For now: thank you to the community for making this possible. 💙
#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow
-
🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.
Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.
For now: thank you to the community for making this possible. 💙
#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow
-
🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.
Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.
For now: thank you to the community for making this possible. 💙
#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow
-
🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.
Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.
For now: thank you to the community for making this possible. 💙
#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow
-
Updating stickers on laptops... let's see how many I can tag
@matrix @ansible @InstructLab @thinkpadmuseum @trustyai @github @fedora
#ramalama #docling #vllm #llmd #pytorch #NERC #redhat #ospo #upstream #ansible #thinkpad #womeninfedora #expo2025 #kubeflow #trustyAI #cushingcenter #operationstickybusiness
-
Updating stickers on laptops... let's see how many I can tag
@matrix @ansible @InstructLab @thinkpadmuseum @trustyai @github @fedora
#ramalama #docling #vllm #llmd #pytorch #NERC #redhat #ospo #upstream #ansible #thinkpad #womeninfedora #expo2025 #kubeflow #trustyAI #cushingcenter #operationstickybusiness
-
My KubeCon Europe and AI Day sessions are available on YouTube! You can find the links here: github.com/terrytangyua... #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
RE: https://bsky.app/profile/did:plc:wb4chyxecnojex7l6vyha2xf/post/3ljlw3hmafs2y
public-talks/talks/kubecon-eur... -
My KubeCon Europe and AI Day sessions are available on YouTube! You can find the links here: github.com/terrytangyua... #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
RE: https://bsky.app/profile/did:plc:wb4chyxecnojex7l6vyha2xf/post/3ljlw3hmafs2y
public-talks/talks/kubecon-eur... -
Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
-
Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
-
Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
-
Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io
-
ADMIN 85: Monitoring is available now. We look at infrastructure and systems monitoring and evaluate the
tools needed to scale or store data in the long term for analysis.
https://mailchi.mp/admin-magazine.com/admin-magazine-preview-issue-85-monitoring
#sysadmin #monitoring #Bloonix #Prometheus #Talos #Kubeflow #Kubernetes #AI #Podman #security #Keras #Fedora -
ADMIN 85: Monitoring is available now. We look at infrastructure and systems monitoring and evaluate the
tools needed to scale or store data in the long term for analysis.
https://mailchi.mp/admin-magazine.com/admin-magazine-preview-issue-85-monitoring
#sysadmin #monitoring #Bloonix #Prometheus #Talos #Kubeflow #Kubernetes #AI #Podman #security #Keras #Fedora -
Achieve better large language model inference with fewer GPUs
"we achieved approximately 55-65% of the throughput on a server config that is approximately 15% of the cost"
https://www.redhat.com/en/blog/achieve-better-large-language-model-inference-fewer-gpus
#OpenShiftAI #RedHat #OpenShift #AI #Kubernetes #vllm #kubeflow #kserve
-
Best Open Source Tools for Artificial Intelligence
What are the best open-source tools for your artificial intelligence setup? Artificial Intelligence (AI) has become a transformative force across various industries, driving innovation and enabling sophisticated solutions to complex problems. The AI ecosystem is supported by a vast array of open-source tools that empower developers, data scientists, and researchers to build, deploy, and manage intelligent systems efficiently. These tools cover diverse aspects of AI, including machine […]https://www.simplyblock.io/blog/open-source-tools-for-artificial-intelligence/
-
Good morning folx of #Fediverse :fediverse: ! I interrupt swearing at #CUDA and #Torch to bring you today's #ConnectionList #Introduction #FollowFriday, where I help to more richly connect the Fediverse.
@terrytangyuan is a #MachineLearning #Kubernetes #OpenSource #MLOps engineer who is co-chair of #KubeFlow and maintains #TensorFlow (thank you!).
@yarnspinner is a #dialogue #dialog tool for #GamesDev, brought to you by the team @thesecretlab
@Cerchie is Lucia who is a #DevRel #DeveloperAdvocate at #Confluent, based in the 🇺🇸 👋
@ocramz is Marco and he is into #MachineLearning #ML #NLP #λ #lambda and #NLProc
@lira is into #poetry, #ComputerScience and #Philosophy
@frankjhopwood is a #PhD candidate #researcher #academic at #Groningen working on #speech technology #SpeechSynthesis #TTS for #Frisian. Fun Frisian fact: did you know that "keks" in Frisian means "cookies"?! Cakes and cookies! (Sorry I've always found that very amusing! 🍰 🍪 )
@blairpalese is Director of #Philanthropy at #EthInvest and Media Director and Editor at Climate and Capital Media. She's into #GreenFinance #ClimateRisk #Environment 🌱
Don't forget to share your own #ConnectionList so we can connect more widely ❤️
