#kserve — Public Fediverse posts

Гайды по nxs-universal-chart v3.0: AI Inference контур на основе KServe

Итак, вы обучили модель и она показывает ожидаемые результаты. Теперь осталось выкатить её на контур, однако для этого необходим ряд компонентов: нужна маршрутизация трафика, непосредственно инференс. Желателен autoscaling модели, передача чувствительных данных, например креды до хранилища моделей. Ну и мониторинг не помешал бы. Каждый компонент - это отдельный Helm-чарт, отдельные CRD и отдельная документация. В итоге, вместо быстрого тестирования модели и гипотез, приходится заниматься YAML-инжинирингом и громко ругаться благим матом. Всем привет, на связи Пётр, инженер

https://habr.com/ru/articles/1030440/

#devops #kubernetes #mlops #helm #kserve #istio #machine_learning #inference #ai #deploy

Гайды по nxs-universal-chart v3.0: AI Inference контур на основе KServe

Итак, вы обучили модель и она показывает ожидаемые результаты. Теперь осталось выкатить её на контур, однако для этого необходим ряд компонентов: нужна маршрутизация трафика, непосредственно инференс. Желателен autoscaling модели, передача чувствительных данных, например креды до хранилища моделей. Ну и мониторинг не помешал бы. Каждый компонент - это отдельный Helm-чарт, отдельные CRD и отдельная документация. В итоге, вместо быстрого тестирования модели и гипотез, приходится заниматься YAML-инжинирингом и громко ругаться благим матом. Всем привет, на связи Пётр, инженер

https://habr.com/ru/articles/1030440/

#devops #kubernetes #mlops #helm #kserve #istio #machine_learning #inference #ai #deploy

Гайды по nxs-universal-chart v3.0: AI Inference контур на основе KServe

Итак, вы обучили модель и она показывает ожидаемые результаты. Теперь осталось выкатить её на контур, однако для этого необходим ряд компонентов: нужна маршрутизация трафика, непосредственно инференс. Желателен autoscaling модели, передача чувствительных данных, например креды до хранилища моделей. Ну и мониторинг не помешал бы. Каждый компонент - это отдельный Helm-чарт, отдельные CRD и отдельная документация. В итоге, вместо быстрого тестирования модели и гипотез, приходится заниматься YAML-инжинирингом и громко ругаться благим матом. Всем привет, на связи Пётр, инженер

https://habr.com/ru/articles/1030440/

#devops #kubernetes #mlops #helm #kserve #istio #machine_learning #inference #ai #deploy

Гайды по nxs-universal-chart v3.0: AI Inference контур на основе KServe

Итак, вы обучили модель и она показывает ожидаемые результаты. Теперь осталось выкатить её на контур, однако для этого необходим ряд компонентов: нужна маршрутизация трафика, непосредственно инференс. Желателен autoscaling модели, передача чувствительных данных, например креды до хранилища моделей. Ну и мониторинг не помешал бы. Каждый компонент - это отдельный Helm-чарт, отдельные CRD и отдельная документация. В итоге, вместо быстрого тестирования модели и гипотез, приходится заниматься YAML-инжинирингом и громко ругаться благим матом. Всем привет, на связи Пётр, инженер

https://habr.com/ru/articles/1030440/

#devops #kubernetes #mlops #helm #kserve #istio #machine_learning #inference #ai #deploy

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

Red Hat and Tesla engineers tackled a real production problem together.

3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

This is what open source looks like. 🤝 🚀

https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm

#RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

ML-пайплайны в Kubernetes: от первой строки кода до автоскейлинга и за его пределами

Ваша ML-модель работает в ноутбуке, а в продакшене — нет. Бывало такое? Именно здесь начинается настоящая инженерная задача: взять эксперимент из Jupyter-ноутбука и превратить его в воспроизводимый, наблюдаемый и масштабируемый пайплайн — от сырых данных до стабильного инференса под реальной нагрузкой. Kubernetes давно стал де-факто стандартом для этой работы: более 70% компаний используют его в продакшене — это не дань хайпу, это прагматичный выбор тех, кто уже наступал на грабли. В этой статье разберем, почему K8s выигрывает у альтернатив именно для ML-нагрузок, а также обсудим какие мифы и анти-паттерны тормозят команды на пути к продакшену. Пройдемся по полному стеку: от подготовки кластера и фиксации данных через DVC до canary-деплоя модели и автоскейлинга GPU-подов. В конце вас ждет взгляд на то, куда движется индустрия: serverless-ML, multi-LLM-ops и edge-развертывания. Если вы DevOps- или MLOps-инженер, которому приходится запускать обучение и инференс в одном кластере, или R&D-инженер, чьи модели «магически ломаются» при переходе в прод — читать обязательно.

https://habr.com/ru/companies/cloud_ru/articles/1011810/

#Kubernetes #MLOps #ML_pipeline #KServe #TFX #DVC #HPA #Prometheus #Grafana #DevOps

ML-пайплайны в Kubernetes: от первой строки кода до автоскейлинга и за его пределами

Ваша ML-модель работает в ноутбуке, а в продакшене — нет. Бывало такое? Именно здесь начинается настоящая инженерная задача: взять эксперимент из Jupyter-ноутбука и превратить его в воспроизводимый, наблюдаемый и масштабируемый пайплайн — от сырых данных до стабильного инференса под реальной нагрузкой. Kubernetes давно стал де-факто стандартом для этой работы: более 70% компаний используют его в продакшене — это не дань хайпу, это прагматичный выбор тех, кто уже наступал на грабли. В этой статье разберем, почему K8s выигрывает у альтернатив именно для ML-нагрузок, а также обсудим какие мифы и анти-паттерны тормозят команды на пути к продакшену. Пройдемся по полному стеку: от подготовки кластера и фиксации данных через DVC до canary-деплоя модели и автоскейлинга GPU-подов. В конце вас ждет взгляд на то, куда движется индустрия: serverless-ML, multi-LLM-ops и edge-развертывания. Если вы DevOps- или MLOps-инженер, которому приходится запускать обучение и инференс в одном кластере, или R&D-инженер, чьи модели «магически ломаются» при переходе в прод — читать обязательно.

https://habr.com/ru/companies/cloud_ru/articles/1011810/

#Kubernetes #MLOps #ML_pipeline #KServe #TFX #DVC #HPA #Prometheus #Grafana #DevOps

ML-пайплайны в Kubernetes: от первой строки кода до автоскейлинга и за его пределами

Ваша ML-модель работает в ноутбуке, а в продакшене — нет. Бывало такое? Именно здесь начинается настоящая инженерная задача: взять эксперимент из Jupyter-ноутбука и превратить его в воспроизводимый, наблюдаемый и масштабируемый пайплайн — от сырых данных до стабильного инференса под реальной нагрузкой. Kubernetes давно стал де-факто стандартом для этой работы: более 70% компаний используют его в продакшене — это не дань хайпу, это прагматичный выбор тех, кто уже наступал на грабли. В этой статье разберем, почему K8s выигрывает у альтернатив именно для ML-нагрузок, а также обсудим какие мифы и анти-паттерны тормозят команды на пути к продакшену. Пройдемся по полному стеку: от подготовки кластера и фиксации данных через DVC до canary-деплоя модели и автоскейлинга GPU-подов. В конце вас ждет взгляд на то, куда движется индустрия: serverless-ML, multi-LLM-ops и edge-развертывания. Если вы DevOps- или MLOps-инженер, которому приходится запускать обучение и инференс в одном кластере, или R&D-инженер, чьи модели «магически ломаются» при переходе в прод — читать обязательно.

https://habr.com/ru/companies/cloud_ru/articles/1011810/

#Kubernetes #MLOps #ML_pipeline #KServe #TFX #DVC #HPA #Prometheus #Grafana #DevOps

ML-пайплайны в Kubernetes: от первой строки кода до автоскейлинга и за его пределами

Ваша ML-модель работает в ноутбуке, а в продакшене — нет. Бывало такое? Именно здесь начинается настоящая инженерная задача: взять эксперимент из Jupyter-ноутбука и превратить его в воспроизводимый, наблюдаемый и масштабируемый пайплайн — от сырых данных до стабильного инференса под реальной нагрузкой. Kubernetes давно стал де-факто стандартом для этой работы: более 70% компаний используют его в продакшене — это не дань хайпу, это прагматичный выбор тех, кто уже наступал на грабли. В этой статье разберем, почему K8s выигрывает у альтернатив именно для ML-нагрузок, а также обсудим какие мифы и анти-паттерны тормозят команды на пути к продакшену. Пройдемся по полному стеку: от подготовки кластера и фиксации данных через DVC до canary-деплоя модели и автоскейлинга GPU-подов. В конце вас ждет взгляд на то, куда движется индустрия: serverless-ML, multi-LLM-ops и edge-развертывания. Если вы DevOps- или MLOps-инженер, которому приходится запускать обучение и инференс в одном кластере, или R&D-инженер, чьи модели «магически ломаются» при переходе в прод — читать обязательно.

https://habr.com/ru/companies/cloud_ru/articles/1011810/

#Kubernetes #MLOps #ML_pipeline #KServe #TFX #DVC #HPA #Prometheus #Grafana #DevOps

Red Hat AI 3 is GA!

https://docs.redhat.com/en/documentation/red_hat_ai/3

#RedHat #RedHatAI #RHAIIS #OpenShift #OpenShiftAI #vLLM #KServe #Kubeflow #llmd #AI #GenAI #AIPlatform #OpenSource #OpenSourceAI

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing

KServe joins CNCF as an incubating project

https://www.redhat.com/en/blog/kserve-joins-cncf-incubating-project

#RedHat #Kubernetes #OpenShift #OpenShiftAI #RedHatAI #CNCF #KServe #Inference #ModelServing

💙 #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s @kubefloworg.bsky.social

💙 #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s @kubefloworg.bsky.social

🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

For now: thank you to the community for making this possible. 💙

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

For now: thank you to the community for making this possible. 💙

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

For now: thank you to the community for making this possible. 💙

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

For now: thank you to the community for making this possible. 💙

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

🙌 Huge thanks to everyone who contributed to this journey from writing code, reviewing docs, to supporting governance and community growth.

Stay tuned! We’ll be publishing a detailed announcement blog soon with more insights on what this means for users, contributors, and the future of model serving on Kubernetes.

For now: thank you to the community for making this possible. 💙

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative #Kubeflow #Kubernetes #k8s Kubeflow

#KubeCon #Keynote #K8s #CNCF #KServe CNCF Kubernetes Red Hat AI

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone. #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative @cncf.io @kubernetes.io @kubefloworg.bsky.social

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone. #KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative @cncf.io @kubernetes.io @kubefloworg.bsky.social

A huge thank you to Kevin Wang and Faseela K from the CNCF TOC for all the hard work. It’s been such a pleasure collaborating with you both on this milestone. Thank you to all the community members who have contributed!

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone.

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative CNCF Kubernetes Kubeflow

A huge thank you to Kevin Wang and Faseela K from the CNCF TOC for all the hard work. It’s been such a pleasure collaborating with you both on this milestone. Thank you to all the community members who have contributed!

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone.

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative CNCF Kubernetes Kubeflow

A huge thank you to Kevin Wang and Faseela K from the CNCF TOC for all the hard work. It’s been such a pleasure collaborating with you both on this milestone. Thank you to all the community members who have contributed!

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone.

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative CNCF Kubernetes Kubeflow

A huge thank you to Kevin Wang and Faseela K from the CNCF TOC for all the hard work. It’s been such a pleasure collaborating with you both on this milestone. Thank you to all the community members who have contributed!

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone.

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative CNCF Kubernetes Kubeflow

A huge thank you to Kevin Wang and Faseela K from the CNCF TOC for all the hard work. It’s been such a pleasure collaborating with you both on this milestone. Thank you to all the community members who have contributed!

This is a big step for the KServe community, and we’re excited about the road ahead in making cloud-native model serving more accessible and production-ready for everyone.

#KServe #CNCF #OpenSource #ModelServing #AI #MLOps #CloudNative CNCF Kubernetes Kubeflow

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release! #KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release! #KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release!

#KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release!

#KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release!

#KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release!

#KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Big thanks to everyone contributing code, reviews, and ideas — this integration is shaping up to be a game-changer for 𝗞𝘂𝗯𝗲𝗿𝗻𝗲𝘁𝗲𝘀-𝗻𝗮𝘁𝗶𝘃𝗲 𝗟𝗟𝗠 𝘀𝗲𝗿𝘃𝗶𝗻𝗴. Stay tuned for next release!

#KServe #llmd #GenerativeAI #MLOps #Kubernetes #ModelServing #AIInfrastructure

Excited to share that I am speaking at KubeCon Europe in London next month! Looking forward to catching up with friends and collaborators! You can find me at the following sessions 🧵 #KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s @kubernetes.io #KServe #Kubeflow @cncf.io

Achieve better large language model inference with fewer GPUs

"we achieved approximately 55-65% of the throughput on a server config that is approximately 15% of the cost"

https://www.redhat.com/en/blog/achieve-better-large-language-model-inference-fewer-gpus

#OpenShiftAI #RedHat #OpenShift #AI #Kubernetes #vllm #kubeflow #kserve

An interesting talk here at #KubeCon by @terrytangyuan from #RedHat and Adam Tetelman from #NVIDIA on the many pitfalls of using LLMs in production.

#KServe and #Knative come to the rescue of many Day 2 problems, but there's still a lot to do.

And, as Adam Teleman said so well, this year's KubeCon could easily be called RAGCon, given how many talks there are about #RAG 😀

#KubeCon24 #AI #LLM

Get ready for KubeCon next week! Below are the three talks I'll be presenting! See you there! https://github.com/terrytangyuan/public-talks

- Cloud Native AI Day Keynote: Advancing Cloud Native AI Innovation Through Open Collaboration, sponsored by Red Hat

- Unlocking Potential of Large Models in Production with Adam Tetelman

- WG Serving: Accelerating AI/ML Inference Workloads on Kubernetes with Eduardo Arango

#KubeCon #CloudNativeCon #CloudNative #Kubernetes #DevOps #MLOps #AI #K8s #KServe #Kubeflow

AI/ML Innovation in the Kubernetes Ecosystem

https://dzone.com/articles/ai-ml-innovation-in-the-kubernetes-ecosystem

#Kubernetes #OpenShift #AI #OpenShiftAI #RedHat #Kubeflow #Kserve #PyTorch #Ray #Feast #Jupyter

Say Serve to LLM on OpenShift AI- OpenShift’s Multi-GPU Marvel with KServe | by faisal shah https://medium.com/@fassha08/say-serve-to-llm-on-openshift-ai-openshifts-multi-gpu-marvel-with-kserve-2ab2ed393c63
#OpenShift #aiml #llm #genai #kserve

🎄 Happy Holidays! KServe v0.12 release candidate is available! Try it out! https://github.com/kserve/kserve/releases/tag/v0.12.0-rc0 #KServe #kubernetes #MLOps #DevOps #CloudNative #Kubeflow #ModelServing #AI #MachineLearning @KnativeProject @LFAIDataFdn @CloudNativeFdn

Release v0.12.0-rc0 · kserve/k...

🎄 Happy Holidays! KServe v0.12 release candidate is available! Try it out! https://github.com/kserve/kserve/releases/tag/v0.12.0-rc0 #KServe #kubernetes #MLOps #DevOps #CloudNative #Kubeflow #ModelServing #AI #MachineLearning @KnativeProject @LFAIDataFdn @CloudNativeFdn

Release v0.12.0-rc0 · kserve/k...

🎄 Happy Holidays! KServe v0.12 release candidate is available! Try it out! https://github.com/kserve/kserve/releases/tag/v0.12.0-rc0 #KServe #kubernetes #MLOps #DevOps #CloudNative #Kubeflow #ModelServing #AI #MachineLearning @KnativeProject @CloudNativeFdn

Release v0.12.0-rc0 · kserve/k...