#vgpu — Public Fediverse posts

so i tried to make a nested proxmox vgpu thingy. but it doesnt work cause when i enabled viommu on the vm the nvidia driver fails(RmInitAdapter failed) but when i disable viommu mdev doesnt work cause it needs /sys/kernel/iommu_groups/ which only exsists with iommu. i fucking hate this bullshit.

#proxmox #vgpu #viommu #iommu #gpu #nvidia #server #homelab #selfhosting #vm #qemu #pciepassthrough #mdev

GPU vs vGPU: что выбирать для быстрого запуска AI-сценариев и контроля над данными

Привет, Хабр. Меня зовут Дмитрий Сергеев. Я менеджер продукта «виртуальные серверы» (GPU) в компании VK Tech. Одна из ключевых проблем внедрения нейросетей в бизнес — отсутствие подготовленной ИТ-инфраструктуры. Почти всегда приходится разбираться, какая из тысяч моделей подойдет для задачи и будет учитывать специфику и процессы бизнеса. Часто это становится дорогим занятием без предсказуемого результата. В этой статье я на примере сервисов VK Cloud разберу, в каких сценариях востребованы физические GPU, а также где и как их можно эффективно заменить с помощью vGPU, чтобы оптимизировать бюджет и сэкономить на аренде полного объема ресурсов.

https://habr.com/ru/companies/vktech/articles/1053456/

#vk_cloud #gpu #vgpu #cloud_gpu #машинное_обучение #llm #rag #видеоаналитика #3dграфика #vdi

Как мы приручили vGPU до режима авто без проблем

Привет, Хабр! На связи снова команда виртуализации платформы Astra Cloud. Решили рассказать, как мы укрощали тяжелую графику — от первых экспериментов до полноценного релиза. Запрос от заказчиков звучал железобетонно: «Хотим тяжелую графику в виртуализации, как на рабочей станции, но чтобы управлялось централизованно». Мы ответили: «Сделаем». Как будто были другие варианты, ха!

https://habr.com/ru/companies/astralinux/articles/1050258/

#vgpu #виртуализация_графики #облака

Тестируем выделенный L40S и vGPU на 16 ГБ по производительности (llama.cpp, ComfyUI)

Сегодня в интернете какой только нет информации об искусственном интеллекте или его применении в разных сферах. Можно сказать, что он уже плотно вошел в обычную жизнь — многие используют ИИ в повседневной работе (и не только), а компании всё чаще внедряют нейросети для автоматизации процессов и борьбы с рутиной. Тем более, что LLM стали заметно умнее и позволяют решать самые разные задачи: проводить быстрый анализ новых направлений, искать решения типовых проблем, генерировать изображения, видео и так далее. В мае этого года мы расширили линейку VDS с GPU и запустили тарифы с виртуальными видеокартами (VGPU) . Поскольку цена на тарифы с физической (GPU Passthrough) и виртуальной картами отличается, решили сравнить их между собой. Основная цель тестирования — понять, насколько vGPU уступают в реальных задачах, а где разница не так критична, чтобы помочь своим клиентам с выбором. В этой статье представляем результаты нашего тестирования, которые могут пригодиться для реализации ИИ-инструментов — как нашим клиентам, так и всем, кому интересна эта тема.

https://habr.com/ru/companies/first/articles/1042142/

#gpu #vgpu #llm #llamacpp #нейросети #comfyui #vds #производительность #тестирование #firstvds

Снижаем стоимость инференса. Часть 1. Популярные подходы и что помогло нам повысить утилизацию GPU на 70%

Привет, Хабр! Меня зовут Данила Гудынин, я DevOps-инженер направления Evolution ML Inference в Узнать больше

https://habr.com/ru/companies/cloud_ru/articles/950162/

#vllm #vgpu

nVidia GPU virtualization: Folks crack nVidia's limiting of virtualizing consumer GPUs
https://www.reddit.com/r/Proxmox/comments/1ltxq6q/nvidias_new_vgpu_solution_cracked_rtx_30series/
#virtualization #proxmox #hacking #nvidia #vgpu #gpu #ai #+

Эффективное использование GPU в Kubernetes: Настройка и использование Volcano Scheduler + Volcano vGPU Device Plugin

В этой статье я расскажу, как можно разделить GPU на vGPU в кластере Kubernetes с поддержкой жесткой изоляции, используя Volcano и Volcano vGPU Device Plugin.

https://habr.com/ru/articles/913374/

#kubernetes #nvidia_gpu #helm #vgpu #linux #видеокарты #gpu #nvidia

Proxmox lanza la versión 8.4 de su plataforma de virtualización con soporte para vGPU NVIDIA y mejoras clave para entornos empresariales https://blog.elhacker.net/2025/04/proxmox-virtualizacion-soporte-vgpu-nvidia.html #virtualizar #proxmox #nvidia #vgpu

Thank god I own a custom domain address so getting #nVidia's free 90-day evaluation trial to obtain the driver for #vGPU was relatively painless. I dream of the day we can have subscription-free #VDI and #GPU acceleration in VMs

#homelab #linux

#NVIDIA Publishes #OpenSource #Linux Driver Code For #GPU Virtualization "#vGPU"
"This is intended to be a real product that customers would use, it is not a proof of concept. There is alot of demand for this kind of simplified virtualization infrastructure in the host side...From the VFIO side I would like to see something like this merged in nearish future as it would bring a previously out of tree approach to be fully intree using our modern infrastructure.
https://www.phoronix.com/news/NVIDIA-Open-GPU-Virtualization #QEMU #VM