#modelai — Public Fediverse posts

Hướng dẫn chạy mô hình GLM-4.7 của Z.ai trên thiết bị cá nhân! GLM-4.7 cải tiến mạnh về code, agent & chat, đạt SOTA trên SWE-bench. Bản 355B param cần 400GB, nhưng bản GGUF 2-bit chỉ còn 134GB, tiết kiệm 75% dung lượng. Khám phá ngay!
#GLM47 #AI #LocalLLM #Zai #ModelAI #TríTuệNhânTạo #ChạyLocal

https://www.reddit.com/r/LocalLLaMA/comments/1ptttcm/how_to_run_the_glm47_model_locally_on_your_own/

Hàng loạt AI ngôn ngữ đang được thử nghiệm với Kimi K2 dẫn đầu (khiến minimax nhường 2,4% điểm) và hai mô hình Mistral mới MIỄN PHÍ! Kimi K2 nhanh hơn, Mistral dùng nhiều bước nhưng chưa vượt DeepSeek về hiệu năng. So sánh chi phí-độ chính xác cập nhật trên swebench.com.

#AI #MachineLearning #KimiK2 #Mistral #DeepSeek #TốiƯuChiPhí #NgônNgữTríTuệNhânTạo #ModelAI

---
*Independent evaluation shows Kimi K2 leads in efficiency, Mistral models free via API. Step limits impact performance. Data

Tính VRAM cần cho mô hình AI: **Memory = (Tham số × Byte mỗi tham số)**. Ví dụ 7B tham số: FP16 cần 14GB, INT8: 7GB, INT4: 3.5GB. Thêm 20% cho context/window. GPU 8-24GB phù hợp mô hình 7B, 40-80GB dùng 13B-34B. #AI #VRAM #MachineLearning #KhoaHocDuLieu #ModelAI

https://www.reddit.com/r/LocalLLaMA/comments/1piiozj/rule_of_thumb_or_calculator_for_determining_vram/