#runai — Public Fediverse posts

Run:ai runs on 64 GPUs, handling 10,200 concurrent users while matching the native scheduler’s performance. The benchmark shows how GPU fractioning boosts token throughput for LLM inference, proving that open‑source AI infrastructure can scale efficiently in the cloud. Curious how this works? Read the full study. #GPUFractioning #LLMInference #RunAI #TokenThroughput

🔗 https://aidailypost.com/news/runai-64-gpus-serves-10200-users-matching-native-scheduler

[Перевод] NVIDIA открыла исходный код KAI Scheduler — планировщика, ранее использовавшегося в платформе Run:ai

Весной этого года NVIDIA открыла исходный код KAI Scheduler — Kubernetes-нативного планировщика GPU-нагрузок, который раньше входил в состав платформы Run:ai и теперь распространяется под лицензией Apache 2.0. Интерес к этому проекту закономерен: планировщик давно работает в продакшене и решает ряд проблем, с которыми сталкивается любая команда, пытающаяся эффективно распределять GPU-ресурсы в кластере. Мы в Orion soft изучили технические детали KAI Scheduler, чтобы понять, как он устроен изнутри, какие задачи закрывает и какие идеи могут быть полезны инженерам, работающим с Kubernetes, ML-нагрузками и распределёнными GPU-оркестраторами. Ниже — разбор архитектуры, базовых сущностей и цикла планирования.Преимущества KAI Scheduler Управление AI-нагрузками на GPU и CPU сталкивается с рядом задач, которые традиционные планировщики ресурсов не всегда способны решать. KAI Scheduler был разработан специально для того, чтобы закрыть эти проблемы:

https://habr.com/ru/companies/orion_soft/articles/980176/

#gpu #runai #scheduler #kubernetes #machinelearning #opensourse #mlops #ai #nvidia

Nvidia’s $700M Power Move: How Run:ai is Revolutionizing AI Workloads #AI, #Nvidia, #RunAI, #ArtificialIntelligence, #TechNews, #Innovation, #AIWorkloads, #OpenSource, #TechInfluencer, #AIRevolution Nvidia just dropped $700 million to acquire Run:ai, an Israeli startup https://t.co/yZtCdomawQ on https://twitter.com/AcerboLivio/status/1874138411218465164

Nvidia announces a $700M acquisition of Run.ai, an Israeli AI software firm specializing in AI computing resource management. Explore the collaboration that started in 2020.

#Nvidia #RunAI #AcquisitionNews #IsraeliTech #AISoftware #GPUManagement #TechNews #CompanyAcquisition #AIComputing #NvidiaRunAI #Technology #AIResources #TechInvestment #Collaboration #AIandTech #IsraeliInnovation #AIDevelopment #NvidiaNews #TechCollaboration #AIManagement #InnovationInAI

Nvidia announces a $700M acquisition of Run.ai, an Israeli AI software firm specializing in AI computing resource management. Explore the collaboration that started in 2020.

#Nvidia #RunAI #AcquisitionNews #IsraeliTech #AISoftware #GPUManagement #TechNews #CompanyAcquisition #AIComputing #NvidiaRunAI #Technology #AIResources #TechInvestment #Collaboration #AIandTech #IsraeliInnovation #AIDevelopment #NvidiaNews #TechCollaboration #AIManagement #InnovationInAI