#doitech — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #doitech, aggregated by home.social.
-
Cập nhật thử nghiệm mô hình MiniMax-M2 Q3_K_M với 4 GPU V100 32GB qua llama.cpp và NVLink. Khi dùng "--split-mode layer", tốc độ xử lý tăng từ 20 lên 38 tok/s so với "row", đạt 1683 tok/s khi khởi tạo. Tuy NVLink chưa tối ưu cho inference, nhưng combo V100 16GB SXM2 giá ~$100 + adapter ($50) vẫn đáng cân nhắc cho các dự án DIY. #AI #LLM #llamaCPP #NVLink #V100 #DOITech
https://www.reddit.com/r/LocalLLaMA/comments/1psnlm0/minimaxm2_q3_k_m_on_quad_v100_32gb_llamacpp/