Live and recent posts from across the Fediverse tagged #lượngtửhoa, aggregated by home.social.
Kimi AI giải thích tại sao Int4 QAT lại thiết yếu cho mô hình MoE của họ, khác với MiniMax. Int4 QAT giúp giảm độ trễ (ít GPU hơn), cải thiện ổn định với ngữ cảnh dài (PTQ thất bại), và tăng tốc huấn luyện RL (giảm 10-20% thời gian). Kimi chọn Int4 vì tương thích phần cứng. Việc lượng tử hóa phụ thuộc vào kiến trúc và mục tiêu cụ thể.
#AI #Quantization #KimiAI #MoE #LLM #AITechnology #LượngTửHóa #HọcMáy
https://www.reddit.com/r/LocalLLaMA/comments/1pzfuqg/why_kimi_k2_thinking_choose_int4_qat_fr
Nghiên cứu của DeepSeek khẳng định mô hình DeepSeek Speciale đạt huy chương vàng tại IMO/IOI. Tuy nhiên, hiệu suất có thể giảm bao nhiêu khi lượng tử hóa mô hình này (FP8) xuống trên 100 tỷ tham số? Cần chờ so sánh trực tiếp phiên bản lượng tử và bản gốc. #AI #MachineLearning #Quantization #TríTuệNhânTạo #HọcMáy #LượngTửHóa
https://www.reddit.com/r/LocalLLaMA/comments/1pjxkq5/quantization_and_math_reasoning/
Mạng MagicQuant tự động tối ưu lượng tử hóa AI bằng thuật toán tiến hóa, đạt hiệu suất cao và giảm mất mát độ chính xác. Ví dụ: Seed-OSS 36B nhanh 15.5% & mất 75% độ chính xác thấp hơn. Minh bạch, lặp lại và mở nguồn. #AI #LượngTửHóa #MagicQuant #CôngNgệ #Tech #Quantization #OpenSource
https://www.reddit.com/r/LocalLLaMA/comments/1piasv8/magicquant_hybrid_evolution_gguf_tps_boosts/
Doradus vừa phát hành bản lượng tử hóa đầu tiên: MiroThinker-v1.0-30B-FP8 trên Hugging Face. Mô hình này phù hợp cho người dùng có 2 GPU (tối ưu với Blackwell) và đi kèm Dockerfiles VLLM. Một nỗ lực đáng chú ý trong tối ưu hóa LLM!
#AIModel #LLM #Quantization #HuggingFace #GPU #MiroThinker
#MôHìnhAI #LượngTửHóa #TốiƯuMôHình
https://www.reddit.com/r/LocalLLaMA/comments/1pehlzg/doradusmirothinkerv1030bfp8_hugging_face/
Người dùng đã cập nhật biểu đồ lượng tử hóa LLM, tập trung hiệu suất trên RAM 8GB. Phát hiện: các tác vụ như toán học giảm chất lượng nhanh hơn viết sáng tạo. Định dạng QAT mới của Gemma hiệu quả cao trên RAM thấp, nhấn mạnh tầm quan trọng của hiệu suất tối ưu.
#LLM #Quantization #AI #LocalLLaMA #Performance #MôHìnhNgônNgữLớn #LượngTửHóa #HiệuSuất
Các phiên bản Qwen3-Next-80B-A3B GGUF mới đã có sẵn! Bao gồm lượng tử hóa imatrix và IQ, cùng với tối ưu hóa MoE, mang lại hiệu suất tốt hơn cho các mô hình LLM cục bộ.
#Qwen3Next #GGUF #LLM #AI #Quantization
#MôHìnhAI #LượngTửHóa #TríTuệNhânTạo
https://www.reddit.com/r/LocalLLaMA/comments/1p9qe7o/qwen3_next_imatrix_ggufs_up/
Một người dùng trên r/LocalLLaMA thắc mắc về vấn đề lượng tử hóa (quantization) với các mô hình LLM. Cụ thể, mô hình gpt-oss-20B-heretic có phiên bản Q4_K_M (15.9GB) lại lớn hơn Q8_0 (12.1GB), điều này khá bất thường. Nghi ngờ các lớp "M" có thể vẫn ở 32-bit.
#LLM #Quantization #AI #LocalLLaMA #LượngTửHóa #MôHìnhNgônNgữ
https://www.reddit.com/r/LocalLLaMA/comments/1p8rc66/quantization_issuedoubts/
Quy tắc chung: mô hình AI lớn lượng tử hóa thường tốt hơn mô hình nhỏ ít lượng tử hóa. Nhưng liệu quy tắc này có đúng khi lượng tử hóa sâu hơn (dưới 4-bit)? Người dùng GLM 4.5 nhận thấy bản 2-bit vẫn rất hiệu quả. Bạn có kinh nghiệm/quy tắc nào khi chọn mô hình lớn/nhỏ với các mức lượng tử hóa khác nhau?
#AI #LLM #Quantization #DeepLearning #MôHìnhNgônNgữ #LượngTửHóa #HọcSâu