#tốiưuhoaai — Public Fediverse posts

Docs SaaS của bạn đang thất bại trong bài kiểm tra GPT? 6 bước AIO: 1️⃣ AI summary ở đầu; 2️⃣ Định nghĩa thuật ngữ; 3️⃣ “Tại sao quan trọng”; 4️⃣ Đồng nhất tên tính năng; 5️⃣ Tóm tắt mỗi chương; 6️⃣ Liệt kê lỗi thường gặp. Viết cho bot AI, không chỉ Google. #SaaS #AI #Docs #Marketing #AIOptimization #TốiƯuHóaAI

https://www.reddit.com/r/SaaS/comments/1ql1nge/why_your_saas_docs_are_failing_the_gpt_test_and/

Một người dùng đang tìm kiếm thiết lập tối ưu cho mô hình gpt-oss-20b trên card GPU 24GB VRAM nhưng chỉ đạt 23 token/giây (so với mức 100 token/giây do cộng đồng báo cáo). Cấu hình hiện tại: context 64k, batch 8096, threads-batch 10, và các tùy chọn --mlock, --no-mmap. Ai có kinh nghiệm tối ưu hóa mô hình AI trên VRAM mời chia sẻ phương pháp!

#AI #machinelearning #technology #GPU #AIperf #gpt #tốiưuhoáAI #môhìnhrời

https://www.reddit.com/r/LocalLLaMA/comments/1poz1p7/optimal_gptoss20b_settin

#Tối ưu hóa mô hình AI chạy trên máy tính cá nhân

Chạy AI chậm trên máy? Nguyên nhân thường do RAM chứ không phải GPU! Mô hình 32-bit chiếm nhiều bộ nhớ. Hãy dùng phiên lượng tử hóa (quantized) với độ chính xác 4-5 bit để giảm đáng kể yêu cầu RAM (vd: Qwen3 từ 16GB xuống chỉ còn 3GB). Chất lượng gần như không đổi nhưng tốc độ nhanh hơn rất nhiều. Kiểm tra tên mô hình có hậu tố q4/q5 để biết đã được lượng tử hóa.

#AI #Quantization #Ollama #MachineLearning #TốiƯuHóaAI #MôHìnhAI

https://www.redd