Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL, собрал прошивку в Vivado и проверил 8 нейросетей в 165 запусках. Покажу реальные замеры, устройство кристалла, грабли и почему добавление умножителей не решает проблему. Спойлер: в ту же стену памяти сейчас упираются и дата-центры за миллиарды.
https://habr.com/ru/articles/1095564/
#open_source #память #gpu #fpga #ddr #riscv #инференс #llm #qwen #aiускорители