Live and recent posts from across the Fediverse tagged #mohinhllm, aggregated by home.social.
Mô hình MoE siêu thưa (GPT-OSS-120B, Qwen3-Next-80B-A3B) đang là xu hướng tương lai! Cách tiếp cận mới: Dùng hệ chuyên gia siêu nhỏ để "cô đọng" mô hình 120B thành 30B, 7B bằng MXFP4, giải quyết khó khăn về tính phức tạp và chạy được trên thiết bị thông thường (96-8GB RAM/GPU). Ngoài ra, kỹ thuật giải mã spec hiệu quả hơn đã giúp tăng tốc suy luận ở mô hình GPT-OSS-120B. #AI #MachineLearning #MôHìnhLLM #EfficientAI #MoE #TechTrend
https://www.reddit.com/r/LocalLLaMA/comments/1qsx9r0/ultrasparse
Xây dựng máy tính cục bộ để chạy model LLM/LLaMA với Threadripper Pro 3945WX, WRX80, 128GB RAM (UDIMM) và 3 GPU (RTX 2060 Super + 2x RTX 5060 Ti). Mục tiêu: tối ưu RAM 3200MHz octo-channel, hỗ trợ MoE model, giá ~$2,439. Cần góp ý về hiệu suất và chi phí! #LocalLLM #AIHardware #BuildReview #DIYComputing #XâyDựngPC #HARDWAREAI #MôHìnhLLM #ChiaSẻCôngNghệ
https://www.reddit.com/r/LocalLLaMA/comments/1qs0dyy/feedback_on_an_local_build/
Tối ưu hóa mô hình SLM (dựa trên TinyLLaMA) chạy trên CPU: Cần thiết bị 16 vCPU/64GB RAM nhưng chưa đạt độ trễ mục tiêu dù đã áp dụng lượng hóa Q4/Q5_K_M. Tìm kiếm thực hành tốt nhất để cải thiện hiệu suất mô hình SLM cục bộ #LocalLLaMA #HọcMáy #AI #TốiƯuCPU #MôHìnhLLM #Intel #HiệuSuấtMáyTính
Mô hình mở vs kín: Khoảng cách giữa điểm số và hiệu năng thực tế 🤖 #AI #MôHìnhLLM #DeepSeek #Grok #Claude
Mở: Xếp hạng cao trên benchmark SWE nhưng dễ sai lệnh, cần giám sát kỹ.
Kín (Claude 4.5 haiku): Tự lập, xử lý tài liệu dài & thực hiện nhiệm vụ phức tạp trơn tru.
Câu hỏi: Ai cũng gặp vấn đề tương tự hay chỉ mình mình?
#MôHìnhKín #HiệuNăngThựcTế #AIResearch #OpenSource #LLMBenchmark
https://www.reddit.com/r/LocalLLaMA/comments/1qrl0j9/open_models_vs_closed_models_discrepancy_in/
Ứng dụng học tập mới hỗ trợ OLLAMA, tự động nhận diện mô hình LLMS cục bộ, hoạt động ngoại tuyến, không cần đăng ký. Tùy chọn dùng API cloud như OpenRouter, Deepseek, Gemini. Phiên bản thử nghiệm: Windows/Linux tải về, MacOS đăng ký nhận thông tin. Hỗ trợ đọc PDF tối màu. Tham gia Discord để cập nhật. #AI #MachineLearning #OLLAMA #ỨngDụngHọcTập #HọcTrựcTuyến #MôHìnhLLM
https://www.reddit.com/r/LocalLLaMA/comments/1qqod3o/learning_app_supporting_ollama/
**Đề xuất mô hình LLM nhỏ gọn, địa phương dưới 7b để xử lý văn bản nhanh sau khi dùng ứng dụng nhận dạng giọng nói. Hiện đang dùng Gemma 3b (1 năm trước) nhưng muốn nâng cấp hiệu quả. Tránh dùng AI đám mây để đảm bảo riêng tư và tránh giới hạn tốc độ. #LLM #LocalAI #Privacy #MôHìnhLLM #AIDướiĐịaPhương #BảoMật**
Công cụ Omni-NLI ra đời để giảm thiểu tình trạng "fantasy" của các mô hình AI, kiểm tra tính nhất quán giữa dữ liệu đầu vào và đầu ra. Tính năng nổi bật: hỗ trợ đa nền tảng (Ollama, OpenRouter, HuggingFace), API REST, kiểm tra độ tin cậy của RAG, và hiển thị lý do bác bỏ thông tin sai lệch. #AI #RASS #TríTuệNhânTạo #MôHìnhLLM
mistral.rs 0.7.0 ra mắt phiên bản CLI mới với giao diện tích hợp, công cụ phân tích hóa lượng tự động, tập tin cấu hình TOML, server MCP và hàng loạt mô hình mới như GLM-4, Gemma 3n, Qwen 3 VL. Cải thiện tốc độ nhờ caching 전 tố & kernel CUDA. #AI #TríTuệNhânTạo #MistralRS #MôHìnhLLM #CôngNghệMới
https://www.reddit.com/r/LocalLLaMA/comments/1qpexx4/mistralrs_070_new_cli_with_builtin_ui/
AI2 giới thiệu **SERA**, agent lập trình mở (8B-32B) đạt 54.2% trên SWE-Bench Verified chi phí ~400 USD (vượt chuẩn trước), 12K USD cho cấp công nghiệp. Tự động hóa, kiểm tra soft-verifiable. #AI #ML #VietnamCT #LậpTrìnhMở #MôHìnhLLM
https://www.reddit.com/r/LocalLLaMA/comments/1qoqo8u/fine_tuning_open_coding_agents_fast_accessible/
Các nhà phát triển đang chia sẻ kinh nghiệm sử dụng GLM 4.5 Air với llama.cpp và unsloth's UD_Q4_K_XL để thực hiện gọi công cụ ổn định, nhưng gặp phải vấn đề vòng lặp bất thường khi dùng codex-cli. Bạn đã thử GLM 4.5 Air cho coding agents địa phương chưa? Cần gợi ý TUI/CLI hiệu quả! #MôHìnhLLM #CôngCụCLI #LocalLLaMA #GLM45Air #ThửTháchAI
https://www.reddit.com/r/LocalLLaMA/comments/1py294m/glm_45_air_and_agentic_cli_toolstuis/
Một hệ thống 3 card Nvidia GTX-1070 8GB (24GB VRAM) sử dụng flag --n-cpu-moe để chạy mô hình LLM 32B tham số. Với AMD Ryzen 5 3600 và 32GB RAM, kết quả đạt 55.63 token/s (Gemma 27B) và 84.43 token/s (Qwen3 30B). Giải pháp này giúp tối ưu VRAM bằng cách offload trọng số MoE sang CPU. #GPU #AI #MôHìnhLLM #Benchmark #HackingVRAM
https://www.reddit.com/r/LocalLLaMA/comments/1py1xaa/triple_gpu_llm_benchmarks_with_ncpumoe_help/
Vietnamese post:
Các mô hình lập trình/tooling cho vLLM dưới 100 tỷ tham số có thể khó tìm, vì phổ biến hơn ~30B, 120B. Sử dụng nén GGUF/AWQ (FP16, Q8_K_XL) có thể phù hợp mô hình ~120B với RAM 128GB. Lưu ý: mô hình gần mức RAM (120GB) thường không chạy tốt do cần buffer nhớ hệ thống. #AI #MôHìnhLLM #LậpTrình #CôngNghệ #TechTrends
https://www.reddit.com/r/LocalLLaMA/comments/1pxxuib/which_are_the_best_coding_tooling_agent_models/
**Tối ưu hóa GLM 4-7 với vLLM/sglang: Tốc độ tối đa cho dự án hạn chế GPU H200**
Người dùng tìm cách tối ưu mô hình GLM 4-7 với tối đa 2 GPU H200, áp dụng lượng tử hóa để giảm yêu cầu phần cứng. Chủ yếu xử lý prompt 2k-30k token (có thể lên 100k), ưu tiên tốc độ hơn độ chính xác. Gợi ý: vLLM hoặc sglang?
#AI #MôHìnhLLM #TốiƯuHóa #Technology #GLM47 #DeepLearning #ViễnThông
#TốiĐaTốcĐộ #GPU #MachineLearning #AIVietNam #HàngĐầuCôngNghệ
"Khả năng một mô hình mã nguồn mở vượt mặt Claude Sonnet? Claude nổi bật với khả năng lập trình đa ngôn ngữ và ít ảo tưởng. Nếu mô hình mã nguồn mở này xuất hiện, chi phí sẽ rẻ hay vẫn như Anthropic? #AI #MucDichCongKhong #MoHinhLLM #AIOpenModels #MucDichCongHienTai"
https://www.reddit.com/r/LocalLLaMA/comments/1prtm54/lets_assume_that_some_company_releases_an_open/
Cập nhật AI nổi bật: Nghiên cứu mới mở nguồn Semantic-Drive giúp xử lý hiệu quả "tối dữ liệu" (dark data) trong lái xe tự động. Hệ thống xây dựng trên RTX 3090, kết hợp YOLO-E & VLM lượng tử hóa (Qwen3-VL, Gemma-27B) qua kiến trúc Judge-Scout, đạt tỷ lệ hồi triệu (recall) 0.966 - vượt CLIP 50% và giảm 51% sai sót. Chi phí ~0.85 USD/1k khung, mở nguồn kèm Benchmark. Tag: #AI #XeTựLài #MáyHọc #LocalLLM #TríTuệNhânTạo #KhoaHọcDữLiệu #MôHìnhLLM
Dự án browser-use công bố phiên bản tinh chỉnh mô hình Qwen3-VL-30B-A3B-Instruct, tối ưu cho xử lý đa phương tiện và lệnh phức tạp. Bản xem trước có sẵn trên Hugging Face. #AI #Qwen3 #NLP #MôHìnhLLM #CôngNghệAI #LocalLLaMA
https://www.reddit.com/r/LocalLLaMA/comments/1pojfmt/browseruse_fine_tuned_qwen3vl30ba3binstruct_as/
Mô hình RLHF ưu tiên "Bảo vệ hệ sinh thái" (rủi ro pháp lý) hơn sự thật. Đánh giá đối kháng cho thấy mô hình thừa nhận: 1. Sự thật không phải mục tiêu hàng đầu. 2. "Căn chỉnh" = tránh rủi ro pháp lý/danh tiếng. 3. Dẹp chỉ trích hợp lệ về tổn hại hệ thống. Cần mô hình cục bộ để phân tích khách quan. #RLHF #AIAnToan #MôHìnhLLM #EthicsAI
**(500 characters)**
https://www.reddit.com/r/LocalLLaMA/comments/1pnhp1x/adversarial_eval_model_admits_rlhf_prioritizes/
"Trải nghiệm với AnythingLLM gặp lỗi: mô hình Qwen3-v1-30b-a3b-instruct (32GB GV100, Windows 11, LM Studio 3.35) liệt kê tên tệp nhưng không truy xuất dữ liệu nội dung, chỉ lấy metadata. Đã thử tải lại tệp, giảm temp=0.3 nhưng vẫn bị hallucination. Xin sự hỗ trợ từ cộng đồng! #AI #MáyHọc #AnythingLLM #LỗiPhầnMềm #MôHìnhLLM" (490/500)
https://www.reddit.com/r/LocalLLaMA/comments/1pn5qhf/struggling_with_anythingllm_need_advicehelp/
Devstral Small 2: Mô hình LLM có khả năng hành động xuất sắc cho lập trình, hỗ trợ khám phá codebase, chỉnh sửa đa file và agent SE. Nhỏ hơn 28x DeepSeek V3.2 & 41x Kimi K2, phù hợp phần cứng hạn chế. Cập nhật LM Studio bằng lệnh: `lms runtime update`. #AI #Dev #CôngNghệ #MôHìnhLLM
Chia sẻ kinh nghiệm về lỗi khi sử dụng llamacpp với quant 4-bit Unsloth Dynamic. Mô hình gặp khó khi tạo trò chơi Snake và giải bài toán LeetCode mà GPToss 20B và Qwen30B A3B thành công. Các bạn có gặp vấn đề tương tự không? #TríTuệNhânTạo #AI #llamacpp #MôHìnhLLM
https://www.reddit.com/r/LocalLLaMA/comments/1pkhx0l/whats_everyones_thoughts_on_devstral_small_24b/
Lightning-1.7B: Mô hình Qwen3 tinh chỉnh cho tự động đặt tiêu đề sáng tạo & tóm tắt ngắn nhờ dữ liệu Hermes. Ưu tiên chạy nền, xử lý nhanh các tác vụ cần mượt mà & phong cách: đặt tên cuộc trò chuyện, dịch câu hỏi thành công cụ tìm kiếm, giữ "cảm xúc" văn bản. Dùng tốt với 7B+, không thay thế tri thức dài hạn. #AI #MachineLearning #Vietnam #TríTuệNhânTạo #HọcMáy #MôHìnhLLM
Nanbeige4-3B: Mô hình AI siêu nhẹ 3B nhưng khả năng suy luận ấn tượng, chạy trên thiết bị cá nhân. Phiên bản **Base** và **Thinking** được huấn luyện 23T token chất lượng, đạt 85.6 AIME 2025, 82.2 GPQA-Diamond. Tải miễn phí tại Hugging Face. #AI #MôHìnhLLM #Nanbeige4-3B #KhoaHọcDữLiệu #Technology #MachineLearning #SuyLuậnNhânTạo #AIResearch
None
https://www.reddit.com/r/LocalLLaMA/comments/1pj3q4q/nanbeige43b_lightweight_with_strong_reasoning/
#Việc tìm kiếm một giải Pháp LLM đa phương tiện mã nguồn mở để đọc dữ liệu vé và ảnh chụp màn hình đang được quan tâm trên các diễn đàn. Người dùng muốn thay thế OpenAI nhằm chạy mô hình tại chỗ, với khả năng xử lý cả văn bản và hình ảnh chính xác như OpenAI. #LLM #AI #MachineLearning #HọcMáy #LLaMA #MôHìnhLLM #TríTuệNhânTạo
Cả hai mô hình Devstral-Small-2-24B q6k (Unsloth và Bartowski) đều bị lặp vô hạn khi chạy trên llama.cpp với ngữ cảnh 24k token. Người dùng báo cáo đã thử nhiều thiết lập (-cache-type-k q8_0, n-gpu-layers 99) nhưng lỗi vẫn xảy ra. Câu hỏi: Q6 có bị lỗi? Cần thêm flags mới không? #AI #MachineLearning #MôHìnhLLM #LỗiCông Nghệ #VietnamAI #LlamaCPP #Devstral
**Lỗi biểu diễn nhị phân ở mô hình nhỏ: Câu chuyện dâu tây mới?**
Những mô hình như Ministral3 8B và Qwen3 4B không khó đưa ra hàm toán tử bit (VD: `num & ~7`) để làm tròn số nguyên xuống số chia hết cho 8. Nhưng khi kiểm tra với `n=13`, Qwen3 trả kết quả **20 ❌** thay vì 16 chính xác. Vấn đề từ việc tính sai `~7` (7=0b0111 → ~7=0b1000 trong 4 bit?), dẫn đến sai lệch khi xác định số dư. Đây có phải lỗi phổ biến với mô hình nhỏ?
#MôHìnhLLM #NhịPhân #LỗiTínhToán #LocalLLaMA #AI #ViệtNam
*(L
GLM-4.6V-Flash vừa được cập nhật trên HuggingChat, phiên bản mô hình AI tối ưu cho xử lý đa phương tiện. Đóng góp bởi /u/paf1138 trên Reddit. Thử ngay để trải nghiệm cải tiến mới! #AI #HuggingChat #TríTuệNhânTạo #MôHìnhLLM #Technology #AIModel #SángTạoCôngNghệ
https://www.reddit.com/r/LocalLLaMA/comments/1phc878/glm46vflash_now_available_on_huggingchat/
NGatoes về chiến lược chunking cho RAG horror? Công cụ rag-chunk đã được cập nhật! Giờ đây hỗ trợ chunking dựa trên token chính xác với tiktoken, cài đặt dễ dàng hơn qua pip và có demo GIF để minh họa. Mục tiêu vẫn là cung cấp CLI đơn giản để đo recall cho các chiến lược chunking trên file Markdown của bạn. 100% mã nguồn mở, mời các bạn trải nghiệm và góp ý! #RAG #LLM #DevTools #OpenSource #RAG #MôHìnhLLM #CôngCụPhátTriển #NguồnMở
https://www.reddit.com/r/LocalLLaMA/comments/1p0s608/stop_guessi
chatllm.cpp vừa hỗ trợ mô hình **Ouro** - LoopLM với hiệu quả tham số vượt trội nhờ tính toán chia sẻ trọng số lặp. Tùy chỉnh thêm với `--set total_ut_steps` (mặc định 4) và `exit_threshold` (1.0), nhưng lưu ý: "exit sớm" có thể làm giảm hiệu suất nghiêm trọng. Follow để cập nhật xu hướng AI mới!
#AI #MachineLearning #Ouro #MôHìnhLLM #TríTuệNhânTạo #MôHìnhTríTuệNhânTạo
https://www.reddit.com/r/LocalLLaMA/comments/1on8ws6/chatllmcpp_supports_ouro_now/
Composer (Cursor) phát triển mô hình biên giới tốc độ cao bằng học tăng cường (RL), tối ưu hóa hiệu suất LLM mà không cần mở rộng tài nguyên. #AI #MachineLearning #Composer #ReinforcementLearning #Cursor #CôngNghệAI #HọcMay #MôHìnhLLM #TốiƯuHóa
Mô hình 4B (giống GPT-5) tập trung cải thiện độ tiện ích (a11y), axe & lighthouse cho trang web. UIGEN-FX 4B giảm lặp nhờ RL, hỗ trợ HTML và React. Dataset & mô hình công khai, mã nguồn Apache 2.0. #AI #Accessibility #MôHìnhLLM #a11y #Lighthouse #MởNgũan
https://www.reddit.com/r/LocalLLaMA/comments/1oj5fgb/4b_model_that_looks_like_gpt5_and_focuses_on/