#mayhọc — Public Fediverse posts

Tôi đang chạy mô hình QwQ 32B trên LM Studio với lượng hóa 4 bit, tối ưu K/V cache giúp tăng tốc độ xử lý lên 3 lần (40k context thay vì 10k), đồng thời giảm VRAM xuống 19GB/24GB. Tuy nhiên, việc giảm K/V cache xuống 4 bit có ảnh hưởng nhiều đến độ chính xác? Đây là cách tối ưu hiệu quả cho vai trò trò chuyện/role-play với LLM cục bộ. #AI #MáyHọc #LLM #TốiƯuHóa #Quantization #KVTuning

https://www.reddit.com/r/ollama/comments/1qqan74/effects_of_quantized_kv_cache_on_an_already/

Cập nhật AI nổi bật: Nghiên cứu mới mở nguồn Semantic-Drive giúp xử lý hiệu quả "tối dữ liệu" (dark data) trong lái xe tự động. Hệ thống xây dựng trên RTX 3090, kết hợp YOLO-E & VLM lượng tử hóa (Qwen3-VL, Gemma-27B) qua kiến trúc Judge-Scout, đạt tỷ lệ hồi triệu (recall) 0.966 - vượt CLIP 50% và giảm 51% sai sót. Chi phí ~0.85 USD/1k khung, mở nguồn kèm Benchmark. Tag: #AI #XeTựLài #MáyHọc #LocalLLM #TríTuệNhânTạo #KhoaHọcDữLiệu #MôHìnhLLM

https://www.reddit.com/r/LocalLLaMA/comments/1pplvzz/p

"Trải nghiệm với AnythingLLM gặp lỗi: mô hình Qwen3-v1-30b-a3b-instruct (32GB GV100, Windows 11, LM Studio 3.35) liệt kê tên tệp nhưng không truy xuất dữ liệu nội dung, chỉ lấy metadata. Đã thử tải lại tệp, giảm temp=0.3 nhưng vẫn bị hallucination. Xin sự hỗ trợ từ cộng đồng! #AI #MáyHọc #AnythingLLM #LỗiPhầnMềm #MôHìnhLLM" (490/500)

https://www.reddit.com/r/LocalLLaMA/comments/1pn5qhf/struggling_with_anythingllm_need_advicehelp/

Tác giả vừa open-source nền tảng nghiên cứu AI Introlix - hỗn hợp giữa GitHub Copilot và Google Docs. Tính năng chính: Bàn nghiên cứu AI hỗ trợ chat/edit, không gian làm việc đồng bộ dữ liệu, nhiều agent AI, và sắp có tính năng định dạng tài liệu tự động. Dự án hiện đang tìm kiếm cộng sự để hoàn thiện và học hỏi.

#AI #MáyHọc #NghiênCứu #MôHìnhTríTuệNhânTạo #CôngCụNghiênCứu #OpenSource #PhátTriểnPhầnMềm #LậpTrình
#ResearchPlatform #LLM #GitHub #StudentDevelop #SideProject

https://www.reddit