#pci_passthrough — Public Fediverse posts

Мой идеальный компьютер

Я сижу под Linux, но иногда нужна винда. До недавнего времени у меня был обычный dual boot, но сейчас я реализовал свой идеальный сетап: - основная система - Linux - Windows - на выделенной SSD - на нее можно загрузиться как из груба, так и из виртуалки - с пробросом второго GPU (дисплей на отдельный физический выход) - с качественным удаленным подключением (как RDP, но быстрое) - можно играть в игры Ниже опишу что и как сделал.

https://habr.com/ru/articles/921160/

#linux #virtualization #virtmanager #gpu #nvidia #vfio #nvme #pci_passthrough

Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes

Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею. Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator. Поехали!

https://habr.com/ru/companies/flant/articles/906700/

#llm #ml #ai #gpu #proxmox #deckhouse_kubernetes_platform #kubernetes #pci_passthrough