#nvidia_volta — Public Fediverse posts

[Перевод] Как я установил в свой игровой ПК серверный GPU за £200

У меня уже была установлена RTX 4080 с 16 ГБ VRAM. Её вполне достаточно для гейминга, но не для моделей, которые я хотел запускать локально. Так что следующим шагом было либо приобретение дорогущей карточки с б о льшим объёмом памяти, либо поиск другого способа. И я этот способ нашёл. Я купил видеокарту для датацентра, у которой даже нет нормального коннектора PCIe, и подключил её к ПК через адаптер. Теперь у меня в системе 32 ГБ VRAM от двух GPU, на которых работает модель с 27 миллиардами параметров, выдавая по 32 токена в секунду. И обошлось мне это всего в £200.

https://habr.com/ru/companies/ruvds/articles/1043072/

#ruvds_перевод #искусственый_интеллект #инференс_llm #v100 #nvidia_volta #локальная_llm #nixos