home.social

#kubeflow — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kubeflow, aggregated by home.social.

  1. Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)

    Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.

    habr.com/ru/companies/sovcomba

    #MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор

  2. Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)

    Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.

    habr.com/ru/companies/sovcomba

    #MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор

  3. Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)

    Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.

    habr.com/ru/companies/sovcomba

    #MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор

  4. 🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

    Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

    For now: thank you to the community for making this possible. 💙

    #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

  5. 🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

    Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

    For now: thank you to the community for making this possible. 💙

    Kubeflow

  6. 🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

    Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

    For now: thank you to the community for making this possible. 💙

    #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

  7. 🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

    Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

    For now: thank you to the community for making this possible. 💙

    #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

  8. 🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

    Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

    For now: thank you to the community for making this possible. 💙

    #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

  9. Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io

  10. Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io

  11. Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io

  12. Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io

  13. ADMIN 85: Monitoring is available now. We look at infrastructure and systems monitoring and evaluate the
    tools needed to scale or store data in the long term for analysis.
    mailchi.mp/admin-magazine.com/
    #sysadmin #monitoring #Bloonix #Prometheus #Talos #Kubeflow #Kubernetes #AI #Podman #security #Keras #Fedora

  14. ADMIN 85: Monitoring is available now. We look at infrastructure and systems monitoring and evaluate the
    tools needed to scale or store data in the long term for analysis.
    mailchi.mp/admin-magazine.com/
    #sysadmin #monitoring #Bloonix #Prometheus #Talos #Kubeflow #Kubernetes #AI #Podman #security #Keras #Fedora

  15. Achieve better large language model inference with fewer GPUs

    "we achieved approximately 55-65% of the throughput on a server config that is approximately 15% of the cost"

    redhat.com/en/blog/achieve-bet

    #OpenShiftAI #RedHat #OpenShift #AI #Kubernetes #vllm #kubeflow #kserve

  16. Best Open Source Tools for Artificial Intelligence

    What are the best open-source tools for your artificial intelligence setup? Artificial Intelligence (AI) has become a transformative force across various industries, driving innovation and enabling sophisticated solutions to complex problems. The AI ecosystem is supported by a vast array of open-source tools that empower developers, data scientists, and researchers to build, deploy, and manage intelligent systems efficiently. These tools cover diverse aspects of AI, including machine […]

    simplyblock.io/blog/open-sourc

  17. Good morning folx of #Fediverse :fediverse: ! I interrupt swearing at #CUDA and #Torch to bring you today's #ConnectionList #Introduction #FollowFriday, where I help to more richly connect the Fediverse.

    @terrytangyuan is a #MachineLearning #Kubernetes #OpenSource #MLOps engineer who is co-chair of #KubeFlow and maintains #TensorFlow (thank you!).

    @yarnspinner is a #dialogue #dialog tool for #GamesDev, brought to you by the team @thesecretlab

    @Cerchie is Lucia who is a #DevRel #DeveloperAdvocate at #Confluent, based in the 🇺🇸 👋

    @ocramz is Marco and he is into #MachineLearning #ML #NLP #λ #lambda and #NLProc

    @lira is into #poetry, #ComputerScience and #Philosophy

    @frankjhopwood is a #PhD candidate #researcher #academic at #Groningen working on #speech technology #SpeechSynthesis #TTS for #Frisian. Fun Frisian fact: did you know that "keks" in Frisian means "cookies"?! Cakes and cookies! (Sorry I've always found that very amusing! 🍰 🍪 )

    @blairpalese is Director of #Philanthropy at #EthInvest and Media Director and Editor at Climate and Capital Media. She's into #GreenFinance #ClimateRisk #Environment 🌱

    Don't forget to share your own #ConnectionList so we can connect more widely ❤️