#mohinhngonngữ — Public Fediverse posts

AI2 công bố SERA - mô hình lập trình mở (8B-32B trên Qwen3), đạt 54.2% trên SWE-Bench Verified, vượt SOTA mở trước đó với chi phí thấp (~400$ để ngang mở, 12K$ cho mức công nghiệp). Agent nhanh, dễ truy cập và thích nghi với mọi repo. #AI #CodingAgent #SERA #Qwen3 #LLM #AI2 #LậpTrình #MôHìnhNgônNgữ #TríTuệNhânTạo #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1qoqo8u/fine_tuning_open_coding_agents_fast_accessible/

Trích xuất cấu trúc vượt trội so với ngữ cảnh đầy đủ (F1: 0.83 vs 0.58) trong tác vụ suy luận đa bước. Entity Cards (17.5% token) giúp mô hình suy luận tốt hơn do loại nhiễu, tập trung vào thực thể và quan hệ. Token compression (LLMLingua, QUITO) thất bại do phá vỡ cấu trúc ngữ nghĩa. Mô hình nhỏ (Qwen3-1.7B) có thể tạo Entity Cards với F1 0.60. Cần thử fine-tuning và kiểm tra trên RAG.
#StructuredExtraction #EntityCards #AIReasoning #LLM #RAG #TríchXuấtCấuTrúc #SuyLuậnAI #MôHìnhNgônNgữ #RútGọ

GLM-4-32B-0414 nổi bật với chỉ **2 đầu KV**, giúp tiết kiệm đáng kể bộ nhớ cache KV nhờ sử dụng GQA. Tiếc rằng GLM-4.7-Flash đã loại bỏ tính năng này, làm giảm hiệu quả tối ưu hóa bộ nhớ. #AI #LLM #GLM #KVCache #GQA #TríTuệNhânTạo #MôHìnhNgônNgữ #AIoptimization

https://www.reddit.com/r/LocalLLaMA/comments/1qiphdr/two_heads_is_all_i_need/

⚙️ Đã hoàn thành Kuse Cowork – công cụ AI tự lưu trữ thay thế Claude Cowork, viết hoàn toàn bằng Rust. Chạy offline trên LLM cục bộ (Ollama), mọi tác vụ được cô lập trong Docker để bảo mật. Hỗ trợ PDF, Excel và các tài liệu khác. Dự án đang mở trên GitHub, mong nhận phản hồi và đóng góp. #OpenSource #Rust #AI #LLM #SelfHosted #MãNguồnMở #TríTuệNhânTạo #MôHìnhNgônNgữ

https://www.reddit.com/r/LocalLLaMA/comments/1qimpro/i_spent_48_hours_building_an_open_source_and/

NousCoder-14B-GGUF đã ra mắt! Fine-tune từ Qwen3-14B với huấn luyện RL trên 24k bài toán mã hóa, đạt độ chính xác Pass@1 là 67.87% trên LiveCodeBench v6 (tăng 7.08% so với bản gốc). Mô hình được huấn luyện bằng 48 B200 trong 4 ngày. #NousCoder #Qwen3 #LLM #CodeGeneration #AI #NousCoder #Qwen3 #MôHìnhNgônNgữ #LậpTrìnhAI

https://www.reddit.com/r/LocalLLaMA/comments/1q6a32c/nouscoder14bgguf_is_here/

Miromind_ai chính thức ra mắt Miro Thinker 1.5 – mô hình được fine-tune từ Qwen3, sẵn dùng phiên bản 30B và 235B. Ghi điểm với hiệu suất ấn tượng trên BrowserComp, giấy phép MiT, báo cáo kỹ thuật sắp ra mắt. Thử nghiệm tại demo chính thức: dr.miromind.ai #AI #LLM #MiroThinker #Qwen3 #HuggingFace #TríTuệNhânTạo #MôHìnhNgônNgữ #AI_VN

https://www.reddit.com/r/LocalLLaMA/comments/1q4mmiz/miromind_ai_released_miro_thinker_15/

Mô hình ngôn ngữ Bielik-11B-v3.0-Instruct với 11 tỷ tham số, được tinh chỉnh hướng dẫn, phát triển bởi SpeakLeash và ACK Cyfronet AGH. Được huấn luyện trên 32 ngôn ngữ châu Âu, tập trung vào tiếng Ba Lan, sử dụng cơ sở hạ tầng tính toán quy mô lớn tại Ba Lan. Khả dụng trên Hugging Face và hỗ trợ GGUF. #AI #LanguageModel #Bielik #SpeakLeash #HPC #TríTuệNhânTạo #MôHìnhNgônNgữ #AIĐịaPhương

https://www.reddit.com/r/LocalLLaMA/comments/1q4icio/bielik11bv30instruct/

Thử nghiệm 23 mô hình ngôn ngữ lớn (LLM) với câu đố Nonogram (câu đố logic dạng lưới). Kết quả: hiệu suất giảm mạnh khi kích thước tăng; một số LLM viết code để giải vét cạn, số khác lập luận từng bước như con người. GPT-4.5 dẫn đầu. Tổng chi phí: ~250 USD, ~17M tokens. Dữ liệu & mã nguồn mở. Link: nonobench.com, GitHub: no-bench.

#LLM #Nonogram #LogicPuzzle #AI #Reasoning #MôHìnhNgônNgữ #CâuĐốLogic #TríTuệNhânTạo #AIReasoning

https://www.reddit.com/r/LocalLLaMA/comments/1q4i19c/benchmarking

llama.cpp trên llama-server gặp vấn đề hiệu suất lớn khi dùng eGPU qua Thunderbolt 4. Tốc độ prefill (xử lý prompt) giảm từ ~2500 t/s (1 GPU) xuống ~150 t/s (2 GPU, 1 qua TB4). Có phải độ trễ của TB4 là thủ phạm chính? Liệu Oculink có tốt hơn?

#llama_cpp #llama_server #eGPU #Thunderbolt4 #LLM #AIPerformance #GPUComputing #HiệuSuấtAI #TínhToánGPU #PhầnCứngAI #MôHìnhNgônNgữ

https://www.reddit.com/r/LocalLLaMA/comments/1q08h2t/llamaserver_massive_prefill_cliff_2500_ts_150_ts/

Tận dụng 2 mainboard Supermicro + 2 Xeon 2690 v3 cùng RAM 2133Mhz, một người dùng đang nghiên cứu nâng cấp 256GB RAM để tự host LLM lớn như Qwen3:235b. Liệu hệ thống này có đủ mạnh để chạy mô hình AI 235 tỷ tham số hiệu quả? Chia sẻ kinh nghiệm nếu bạn đã thử nghiệm tương tự! #SelfHosting #LLM #VietnamTech #TựĐiềuchi #MôHìnhNgônNgữ #CôngNghệAI

https://www.reddit.com/r/selfhosted/comments/1py4mnp/self_hosting_llm_on_multi_cpu_sys_ram_combo/

Tận dụng 2 mainboard Supermicro + 2 Xeon 2690 v3 cùng RAM 2133Mhz, một người dùng đang nghiên cứu nâng cấp 256GB RAM để tự host LLM lớn như Qwen3:235b. Liệu hệ thống này có đủ mạnh để chạy mô hình AI 235 tỷ tham số hiệu quả? Chia sẻ kinh nghiệm nếu bạn đã thử nghiệm tương tự! #SelfHosting #LLM #VietnamTech #TựĐiềuchi #MôHìnhNgônNgữ #CôngNghệAI

https://www.reddit.com/r/selfhosted/comments/1py4mnp/self_hosting_llm_on_multi_cpu_sys_ram_combo/

Tận dụng 2 mainboard Supermicro + 2 Xeon 2690 v3 cùng RAM 2133Mhz, một người dùng đang nghiên cứu nâng cấp 256GB RAM để tự host LLM lớn như Qwen3:235b. Liệu hệ thống này có đủ mạnh để chạy mô hình AI 235 tỷ tham số hiệu quả? Chia sẻ kinh nghiệm nếu bạn đã thử nghiệm tương tự! #SelfHosting #LLM #VietnamTech #TựĐiềuchi #MôHìnhNgônNgữ #CôngNghệAI

https://www.reddit.com/r/selfhosted/comments/1py4mnp/self_hosting_llm_on_multi_cpu_sys_ram_combo/

Nỗ lực làm LLM dừng đúng lúc là thách thức lớn! Mô hình thường tiếp tục tạo ra kết quả hợp lý, dẫn đến quá trình kéo dài. Chỉ khi mọi thứ "vỡ lở", ta mới nhận ra đã đi quá xa. Làm sao để LLM tự biết điểm dừng? Có ai có giải pháp đáng tin cậy không?
#LLM #AI #AIPrompt #DeepLearning #LLMProblem #DừngLàKhó #TríTuệNhânTạo #MôHìnhNgônNgữ #AIworkflow

https://www.reddit.com/r/LocalLLaMA/comments/1pttexp/trying_to_make_an_llm_stop/

livebench.ai là nền tảng mới chuyên đánh giá và so sánh các mô hình AI mã nguồn mở. Cộng đồng đang bàn luận sôi nổi về bảng xếp hạng này, đặc biệt là so sánh Qwen 3 Next với GPT-OSS. Bạn nghĩ sao về thứ tự các mô hình này?
#AI #OpenSource #Livebench #LLM #Qwen #GPTOSS #Benchmark #TríTuệNhânTạo #MãNguồnMở #ĐánhGiáAI #MôHìnhNgônNgữ

https://www.reddit.com/r/LocalLLaMA/comments/1peuh30/httpslivebenchai_open_weight_models_only/

Mô hình AI nhỏ Hito 1.7B, được tinh chỉnh chỉ với ~300 ví dụ, nay có thể đếm chính xác chữ 'r' trong từ 'strawberry' (3 chữ), vượt trội nhiều AI lớn hơn. Đây là bằng chứng cho thấy các mô thức tư duy phức tạp có thể được chuyển giao sang các mô hình nhỏ hơn. Hito sử dụng các 'thẻ tư duy' nội bộ để suy luận và tự sửa lỗi. Một bước tiến thú vị trong AI!

#AI #Hito #LLM #FineTuning #SmallModels #Reasoning
#TríTuệNhânTạo #HọcSâu #MôHìnhNgônNgữ #TinhChỉnhAI

https://www.reddit.com/r/LocalLLaMA/commen

#TOON #JSON #TokenOptimization #DataFormats #LLM #AI #MachineLearning #Programming #Tech #JSON #TOON #TốiƯuToken #MôHìnhNgônNgữ #TríTuệNhânTạo #LậpTrình #CôngNghệ #DữLiệu

**Tóm tắt:** Việc sử dụng TOON có thể tiết kiệm 20-35% token khi xử lý các mảng dữ liệu đồng nhất (danh sách người dùng, nhật ký), nhưng lại có thể tốn thêm 15-20% token với dữ liệu cấu trúc lồng ghép phức tạp hoặc đối tượng cấu hình. TOON hiệu quả với dữ liệu dạng bảng, trong khi JSON vẫn tối ưu hơn cho cấu trúc lồng ghép sâu

#TOON #JSON #TokenOptimization #DataFormats #LLM #AI #MachineLearning #Programming #Tech #JSON #TOON #TốiƯuToken #MôHìnhNgônNgữ #TríTuệNhânTạo #LậpTrình #CôngNghệ #DữLiệu

**Tóm tắt:** Việc sử dụng TOON có thể tiết kiệm 20-35% token khi xử lý các mảng dữ liệu đồng nhất (danh sách người dùng, nhật ký), nhưng lại có thể tốn thêm 15-20% token với dữ liệu cấu trúc lồng ghép phức tạp hoặc đối tượng cấu hình. TOON hiệu quả với dữ liệu dạng bảng, trong khi JSON vẫn tối ưu hơn cho cấu trúc lồng ghép sâu

#TOON #JSON #TokenOptimization #DataFormats #LLM #AI #MachineLearning #Programming #Tech #JSON #TOON #TốiƯuToken #MôHìnhNgônNgữ #TríTuệNhânTạo #LậpTrình #CôngNghệ #DữLiệu

**Tóm tắt:** Việc sử dụng TOON có thể tiết kiệm 20-35% token khi xử lý các mảng dữ liệu đồng nhất (danh sách người dùng, nhật ký), nhưng lại có thể tốn thêm 15-20% token với dữ liệu cấu trúc lồng ghép phức tạp hoặc đối tượng cấu hình. TOON hiệu quả với dữ liệu dạng bảng, trong khi JSON vẫn tối ưu hơn cho cấu trúc lồng ghép sâu

#TOON #JSON #TokenOptimization #DataFormats #LLM #AI #MachineLearning #Programming #Tech #JSON #TOON #TốiƯuToken #MôHìnhNgônNgữ #TríTuệNhânTạo #LậpTrình #CôngNghệ #DữLiệu

**Tóm tắt:** Việc sử dụng TOON có thể tiết kiệm 20-35% token khi xử lý các mảng dữ liệu đồng nhất (danh sách người dùng, nhật ký), nhưng lại có thể tốn thêm 15-20% token với dữ liệu cấu trúc lồng ghép phức tạp hoặc đối tượng cấu hình. TOON hiệu quả với dữ liệu dạng bảng, trong khi JSON vẫn tối ưu hơn cho cấu trúc lồng ghép sâu

#TOON #JSON #TokenOptimization #DataFormats #LLM #AI #MachineLearning #Programming #Tech #JSON #TOON #TốiƯuToken #MôHìnhNgônNgữ #TríTuệNhânTạo #LậpTrình #CôngNghệ #DữLiệu

**Tóm tắt:** Việc sử dụng TOON có thể tiết kiệm 20-35% token khi xử lý các mảng dữ liệu đồng nhất (danh sách người dùng, nhật ký), nhưng lại có thể tốn thêm 15-20% token với dữ liệu cấu trúc lồng ghép phức tạp hoặc đối tượng cấu hình. TOON hiệu quả với dữ liệu dạng bảng, trong khi JSON vẫn tối ưu hơn cho cấu trúc lồng ghép sâu

Cộng đồng AI đang thảo luận về cách đánh giá và đo lường hiệu suất (benchmarks và evals) cho các mô hình ngôn ngữ lớn (LLM). Nhiều người gặp khó khăn khi tổ chức dữ liệu và quy trình đánh giá. Mọi người quan tâm đến việc tạo bộ kiểm tra tùy chỉnh và kinh nghiệm thực tế để tránh thông tin cường điệu.
#LLM #AI #Benchmarks #Evaluations #LocalLLaMA #MôHìnhNgônNgữ #ĐánhGiáAI

https://www.reddit.com/r/LocalLLaMA/comments/1p9pweg/benchmarks_and_evals/

Tìm hiểu cách tinh chỉnh mô hình ngôn ngữ LLM trên dữ liệu Discord để tạo bot trò chuyện. Dữ liệu được thu thập từ các cuộc trò chuyện trên Discord và được chuẩn bị theo 2 phiên bản khác nhau. #LLM #Discord #TròChuyện #AI #TinhChỉnh #MôHìnhNgônNgữ #TríTuệNhânTạo #Chatbot #DiscordBot #VietAI #AI_VN

https://www.reddit.com/r/LocalLLaMA/comments/1ozqryk/finetune_conversational_llm_on_discord_data/

Hebrew_Nemo đã ra mắt - mô hình ngôn ngữ Hebrew tối ưu hàng đầu thế giới, xây dựng trên kiến trúc Mistral Nemo, đạt hiệu suất cạnh tranh với Gemma3-27B dù nhỏ hơn. Mở-source với giấy phép Apache 2.0, hỗ trợ cá nhân/ doanh nghiệp. #AI #NgônNgữHebrew #MởNguồn #MistralAI #HebrewNLP #SOTA #AIOpenSource #MôHìnhNgônNgữ #NLPAdvances

(NONE)

https://www.reddit.com/r/LocalLLaMA/comments/1oj02wi/hebrew_nemo_a_stateoftheart_hebrew_large_language/

Sau thay đổi nhỏ hệ thống (xác nhận đơn trước kết thúc), Voicebot đột ngột lặp lại lệnh xác nhận. Đây là hiện tượng ngẫu nhiên từ mô hình hay lỗi sâu xa? Làm thế nào để phát hiện tự động vấn đề này? #AI #Bot #Voicebot #LLM #MôHìnhNgônNgữ #LỗiAI

https://www.reddit.com/r/LocalLLaMA/comments/1oinn09/voicebot_suddenly_repeats_itself_after_small/