#localllama — Public Fediverse posts

Unsloth Qwen3.6: New coding model of interest if you run AI coding agents locally
https://unsloth.ai/docs/models/qwen3.6
#localllama #claudecode #coding #agents #qwen #ai #+

Chủ đề "Chonkers và nhiệt độ (dual 3090)" chia sẻ thách thức khi tái sử dụng linh kiện cũ để xây dựng máy tính cục bộ. Người dùng gặp vấn đề với khoảng cách và không thể cài đặt dọc card đồ họa thứ hai, đặt câu hỏi liệu hệ thống có hoạt động ổn định không? ✨ #Côngnghệ #HARDWARE #AI #Thửthách #LocalLLaMA

*#Tech #GPU #HardwareEnthusiast #ThermalManagement #DIY*

https://www.reddit.com/r/LocalLLaMA/comments/1qti7jk/chonkers_and_thermals_dual_3090/

**Trạng thái AI năm 2026: LLM, lập trình, quy luật mở rộng, Trung Quốc, agent, GPU, AGI. Lex Fridman Podcast #490 phân tích xu hướng công nghệ AI và thách thức tương lai.**
#AI #LLM #AGI #TechTrend #TríTuệNhânTạo #AI2026 #LocalLLaMA

*(Dự báo AI 2026: Phát triển LLM mã nguồn mở, tác động của quy mô dữ liệu, vai trò Trung Quốc, tiến bộ GPU và bước gần hơn đến AGI.)*
#ThuốcNhuộmAI #TươngLaiCôngNghệ #LexFridman #AIInsights

https://www.reddit.com/r/LocalLLaMA/comments/1qsz1p3/state_of_ai_in_2

Phát triển hệ thống tự động tuân thủ bằng AI cho môi trường phân loại, hoạt động ngoại tuyến hoàn toàn với Llama. Ứng dụng tập trung vào đánh giá STIG và tuân thủ CMMC, loại bỏ thao tác thủ công. Người dùng tương tác với công cụ, không trực tiếp với mô hình, đảm bảo an ninh. Thách thức: chọn mô hình nhẹ, hiệu suất cao và không phụ thuộc API bên ngoài. Bạn cũng đang xây dựng cho môi trường offline/riêng tư? #AI #LocalLLaMA #Cybersecurity #AnNinhMang #TuânThủ #AIAnToàn #OfflineAI #Llama

https://w

Phát triển hệ thống tự động tuân thủ bằng AI cho môi trường phân loại, hoạt động ngoại tuyến hoàn toàn với Llama. Ứng dụng tập trung vào đánh giá STIG và tuân thủ CMMC, loại bỏ thao tác thủ công. Người dùng tương tác với công cụ, không trực tiếp với mô hình, đảm bảo an ninh. Thách thức: chọn mô hình nhẹ, hiệu suất cao và không phụ thuộc API bên ngoài. Bạn cũng đang xây dựng cho môi trường offline/riêng tư? #AI #LocalLLaMA #Cybersecurity #AnNinhMang #TuânThủ #AIAnToàn #OfflineAI #Llama

https://w

Tối ưu hóa mô hình SLM (dựa trên TinyLLaMA) chạy trên CPU: Cần thiết bị 16 vCPU/64GB RAM nhưng chưa đạt độ trễ mục tiêu dù đã áp dụng lượng hóa Q4/Q5_K_M. Tìm kiếm thực hành tốt nhất để cải thiện hiệu suất mô hình SLM cục bộ #LocalLLaMA #HọcMáy #AI #TốiƯuCPU #MôHìnhLLM #Intel #HiệuSuấtMáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1qrtkvk/how_to_run_slm_which_is_built_on_tinyllama_on_cpu/

Hệ thống nhớ AI chống "quên" sau compaction bối cảnh! CMDRBottoms chia sẻ giải pháp với: 📄 NOW.md (200dòng bền vững), 🧠 MEMORY.md tự quản lý, 🔍 ChromaDB tìm kiếm ngữ nghĩa, & 🗃 SQLite theo dõi sự kiện. Kết hợp dữ liệu cấu trúc + tìm kiếm ngữ nghĩa để khắc phục giới hạn bối cảnh AI. #AImemory #LocalLLaMA #BộnhớAI #CôngnghệAI

https://www.reddit.com/r/LocalLLaMA/comments/1qrbs69/memory_system_for_ai_agents_that_actually/

Tác giả đã phát triển Monolith – ứng dụng Windows kết hợp LLM, Stable Diffusion, và tạo âm thanh trong một giao diện. Yêu cầu: Windows, GPU CUDA, Python 3.10+. Bản alpha, mã nguồn mở MIT. Đánh giá tính năng, hiệu năng & tìm thử nghiệm trên AMD/Mac. GitHub: [github.com/Svnse/monolith](https://github.com/Svnse/monolith)
#AI #MachineLearning #LocalLLaMA #StableDiffusion #ÂmThanh #PhátTriểnPhầnMềm #CUDA #Windows #MởMã #ỨngDụngBảnĐịa #AIHiệnĐại #GiaoDịchĐaNăng

https://www.reddit.com/r/LocalLLaMA/c

50 tokens/giây có tốt không? Một người dùng chia sẻ trải nghiệm chạy Llama3.2 trên điện thoại qua Termux, đạt ~50 TPS. Đây là lần đầu họ chạy AI cục bộ. Liệu tốc độ này có cao? #LocalLLaMA #TokensPerSecond #AIandML #TỷLệTokenGiây #HọcMáy #CôngNghệAI

https://www.reddit.com/r/LocalLLaMA/comments/1qqi7zj/is_50tps_good/

Gặp lỗi khi chạy mô hình GLM‑4.7‑Flash trên Mac Studio M1 Ultra: khởi động kéo dài, máy treo và reboot; tắt flash‑attn lại “out‑of‑memory”. Sau khi bật tùy chọn `-ngl 1` mô hình chạy ổn, tốc độ tương đương server. Các giải pháp khác: mmap, fit, rpc, exo… #AI #MachineLearning #MacOS #AppleSilicon #LLM #LocalLLaMA #TríTuệNhânTạo #HọcMáy #MôHìnhLớn

https://www.reddit.com/r/LocalLLaMA/comments/1qq8j2f/issue_running_larger_model_on_apple_silicon/

Cộng đồng đang tìm kiếm các mô hình ngôn ngữ lớn (LLM) chuyên biệt cho tác vụ dịch thuật đa ngôn ngữ với tiêu chí: nhỏ, nhẹ và tốc độ cao để xử lý quy mô lớn (100-500 văn bản/phút).

Một số ứng cử viên sáng giá cho tác vụ này thường là dòng NLLB (No Language Left Behind) của Meta hoặc các mô hình chuyên biệt như Madlad-400, giúp tối ưu chi phí vận hành và hiệu suất so với các model tổng quát.

#AI #MachineLearning #Translation #LLM #DichThuat #CongNghe #LocalLLaMA #NLLB

https://www.reddit.com/

**Tự chạy mô hình AI cục bộ thực sự bảo vệ riêng tư hay chỉ tự dối mình?**
Nhiều người chạy mô hình AI trên máy tính để bảo vệ dữ liệu, nhưng liệu điều này có an toàn? Mô hình gốc thường được huấn luyện từ dữ liệu trích xuất. Thêm nữa, dữ liệu của bạn vẫn có thể bị rò rỉ. Có thể chỉ tránh dùng AI là cách duy nhất bảo vệ thật sự.

**#AI #RiêngTư #LocalLLaMA #AnToanDữLiệu #MLPrivacy #ThiếuAnToan**

https://www.reddit.com/r/LocalLLaMA/comments/1qpj8q7/does_running_locally_actually_protect_you_o

Khám phá mô hình AI phi2 của Microsoft, phù hợp để chạy trên PC với 12GB RAM + 3GB VRAM + GTX 1050 + Linux Mint. Phi2 được lượng tử hóa Q4K, tối ưu hiệu suất trên GPU trung bình. Thử tải về từ Hugging Face hoặc TheBloke và trải nghiệm mô hình AI phi-commercial này! #AIModel #Linux #TechVietnam #LocalLLaMA #Phi2 #GPUOptimization #AICommunity

https://www.reddit.com/r/LocalLLaMA/comments/1qm2yns/any_good_model_for_12_gb_ram_3_gb_vram_gtx_1050/

RTX 6000 Pro (Blackwell) không khởi động trên mainboard MSI Z790-P. Lỗi: LED EZ Debug nhấp nháy đỏ-vàng rồi tắt. Khắc phục: Dùng iGPU vào BIOS, tắt CSM, bật Above 4GB Decoding, tắt ReBAR. Sau cập nhật BIOS, cài đặt bị reset – cần lặp lại thao tác. Mainboard MSI hỗ trợ GPU yếu, iGPU lỗi khi CSM tắt. Cần thay mainboard khác. #RTX6000Pro #Blackwell #MSI #Z790 #PCIE5 #UEFI #CSM #ReBAR #vietnamese #LocalLLaMA #GPU #BIOS #HACK 🖥️🔧

https://www.reddit.com/r/LocalLLaMA/comments/1qc1isk/rtx_6000_pro_bl

Để ngăn các MCP (công cụ/tài nguyên hữu ích) bị thất lạc sau các cuộc thảo luận, một chỉ mục cộng đồng đã được tạo. Nơi đây sẽ lưu giữ các MCP đáng tin cậy, ghi lại mẹo cài đặt, hạn chế và ghi công người đóng góp. Đây là một nỗ lực phi lợi nhuận, nhằm tổng hợp tài nguyên giá trị và dễ tìm kiếm.

#MCPs #CommunityIndex #AIResources #OpenSource #LocalLLaMA #ChỉMụcCộngĐồng #TàiNguyênAI #CôngCụAI #PhiLợiNhuận

https://www.reddit.com/r/LocalLLaMA/comments/1q5pyio/a_community_index_for_mcps_that_dont_d

🖥️ Thử Qwen3‑30B (a3b VL Q4_XS) trên GPU P40 với Flash Attention. Đạt context 100k, nhưng khi tới ~60K gặp lỗi lặp đoạn, hiệu năng giảm mạnh. Tắt FA, chuyển MOE weights sang CPU: tốc độ giảm ~5x, K‑cache chậm ở Q4/Q5. Người dùng đang tìm cách tối ưu cài đặt. #AI #LLM #Qwen30B #FlashAttention #GPU #LocalLLaMA #trí_tự_nhiên #công_nghệ

https://www.reddit.com/r/LocalLLaMA/comments/1q03z3j/p40_qwen30b_60k_context_window_ceiling_with_flash/

🔍 Một thành viên đang muốn finetune phi4‑mini‑reasoning để giải các bài toán khó hơn (openmathreasoning, aime25). Đã thử 1800 mẫu và GRPO, dùng unsloth để học định dạng câu hỏi. Hỏi cộng đồng: nên tăng dữ liệu? dùng mô hình lớn hơn? thêm tool‑calling? Chia sẻ kinh nghiệm nhé! #AI #Finetuning #MachineLearning #Math #Phi4Mini #LocalLLaMA #TríTuệNhânTạo #HuấnLuyệnMôHình #Toán

https://www.reddit.com/r/LocalLLaMA/comments/1pzsemu/advice_for_finetuning_small_reasoning_model/

Thử thách chạy LLM trên phần cứng cũ, độc lạ là một thú vui. Nhiều người đã thành công với laptop cũ, Raspberry Pi và Steam Deck để chạy các mô hình nhỏ.

#AI #LLM #CôngNgệ #PhầnCứng #LocalLLaMA #Hardware

https://www.reddit.com/r/LocalLLaMA/comments/1pzmbqy/anyone_else_basically_just_use_this_hobby_as_an/

@LocalLLaMA Trùng hợp 2 CPU Xeon 2690 V3 + RAM 2133MHz, nâng tối đa 256GB để tự lưu trữ mô hình AI cỡ lớn (LLM). Có thể chạy mô hình 235B như Qwen3? Mời chia sẻ kinh nghiệm & đánh giá hiệu năng! #SelfHosting #LLM #AI #TựNhânViễn #Qwen3 #MáyChủAI #ThửTháchCôngNghệ #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1py4nuu/self_hosting_llm_on_multi_cpu_sys_ram_combo/

**Vietnamese Post:**
Bài whitepaper đầu tiên đã được công bố trên Zenodo (do chưa đủ điều kiện arXiv). Link bài viết và repo đã đính kèm trong comment. Cần hỗ trợ để đăng lên arXiv. #AI #MachineLearning #NCS #Zenodo #LocalLLaMA #Vietnam #CôngNghiệp40

**Character count:** 265 characters (Tiếng Việt)

https://www.reddit.com/r/LocalLLaMA/comments/1pxsb0e/i_got_my_first_ever_whitepaper_published/

Dự án RAG nhỏ với 16GB VRAM: Người dùng muốn tự lưu trữ mô hình AI để xử lý tài liệu Google trên card đồ họa 16GB, đặt câu hỏi về giới hạn và gợi ý mô hình nhỏ.
#RAG #VRAM #AI #HocMay #CongNgheThôngTin #LocalLLaMA #MôHìnhAI

https://www.reddit.com/r/LocalLLaMA/comments/1pvv279/small_rag_project_with_16_gb_vram/

r/LocalLLaMA tổng kết 2025: Một năm đột phá của AI nguồn mở! DeepSeek V3 khởi xướng "Open Source Strike Back", khiến Meta "hoảng loạn" và Sam Altman phải lên tiếng. Trung Quốc dẫn đầu với các mô hình mạnh mẽ như Qwen 3 và GPU giá phải chăng, trong khi Llama 4 của Meta bị đánh giá thấp. Cộng đồng LocalLLaMA vẫn là nơi thảo luận LLM chất lượng.

#AIOpenSource #DeepSeek #Qwen #LocalLLaMA #AInguonmo #DeepSeekV3 #ThongkeAI

https://www.reddit.com/r/LocalLLaMA/comments/1ptr3lv/rlocalllama_a_year_in_re

Local LLMs as constrained data transformers: Duolingo vocab transformed to Anki using Qwen 32B on MacBook M2 Max (45min run). Key insights: larger models sometimes over-help, Qwen 2.5 32B balances quality/instruction adherence. Practical iteration on consumer hardware. #LocalLLaMA #DataTransformation #LLMApplications #AnkiIntegration #Qwen32B

https://www.reddit.com/r/LocalLLaMA/comments/1ptfibf/using_local_llms_as_constrained_data_transformers/

Giao thức LTP (Lazy Tool Protocol) giúp giảm đáng kể chi phí gọi công cụ cho AI, tiết kiệm tới 93% token trong context window! LTP tải thông tin công cụ khi cần, thay vì tải toàn bộ từ đầu. Hỗ trợ số lượng công cụ không giới hạn & tăng cường bảo mật.

#AI #LLM #LTP #LazyToolProtocol #LocalLLaMA #tritue #congnghe

https://www.reddit.com/r/LocalLLaMA/comments/1ptd60q/stop_wasting_your_mcp_context_window_ltp_lazy/

Người dùng Reddit đang tìm nhà cung cấp dịch vụ inference cho SAM Audio, vì chạy trên Runpod/Modal quá đắt. Cần gợi ý! #SAMAudio #AIInference #LocalLLaMA #MáyHọc

https://www.reddit.com/r/LocalLLaMA/comments/1psrl72/sam_audio_api/

Xiaomi tung phiên bản mới **MiMo-V2-Flash (309B)**, модель với khả năng xử lý ngôn ngữ cực mạnh, tiến gần hơn đến công nghệ AI hàng đầu. Đây là bước tiến đáng chú ý trong lĩnh vực trí tuệ nhân tạo.

#Xiaomi #AI #TríTuệNhânTạo #CôngNghệ #MIMOV2Flash #TechNews #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1prjzoh/xiaomis_mimov2flash_309b_model_jumping_straight/

Xiaomi tung phiên bản mới **MiMo-V2-Flash (309B)**, модель với khả năng xử lý ngôn ngữ cực mạnh, tiến gần hơn đến công nghệ AI hàng đầu. Đây là bước tiến đáng chú ý trong lĩnh vực trí tuệ nhân tạo.

#Xiaomi #AI #TríTuệNhânTạo #CôngNghệ #MIMOV2Flash #TechNews #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1prjzoh/xiaomis_mimov2flash_309b_model_jumping_straight/

Xiaomi tung phiên bản mới **MiMo-V2-Flash (309B)**, модель với khả năng xử lý ngôn ngữ cực mạnh, tiến gần hơn đến công nghệ AI hàng đầu. Đây là bước tiến đáng chú ý trong lĩnh vực trí tuệ nhân tạo.

#Xiaomi #AI #TríTuệNhânTạo #CôngNghệ #MIMOV2Flash #TechNews #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1prjzoh/xiaomis_mimov2flash_309b_model_jumping_straight/

200$ nên làm gì với H100s? Azure cung cấp: 🔥 1x H100: 1.46$/h (eastus2) | 🔥 2x H100: 3.10$/h (northcentralus) | 🔥 8x H100: 16.35$/h (westus3). Hỗ trợ yêu cầu, tinh chỉnh mô hình. #Azure #H100 #AI #LocalLLaMA #MáyHọc #TinhChỉnhMôHình

https://www.reddit.com/r/LocalLLaMA/comments/1pqxw37/what_do_i_do_with_200_for_some_h100s/

Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1pqfs1l/exo_10_means_you_can_cluster_mac_studios_for/

Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1pqfs1l/exo_10_means_you_can_cluster_mac_studios_for/

Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1pqfs1l/exo_10_means_you_can_cluster_mac_studios_for/

Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1pqfs1l/exo_10_means_you_can_cluster_mac_studios_for/

Một AI bot hoạt động hoàn toàn ngoại tuyến vừa tự phát hiện và sửa lỗi nút "panic" không hiển thị trên giao diện tối (chữ đen trên nền đen). Thành tựu này cho thấy khả năng quan sát và giải quyết vấn đề tự động của AI.

#AI #CôngNghệ #SángTạo #LocalLLaMA #AIlocal #DarkTheme

---
(NOTE: Original content is about an offline AI agent that self-identified and fixed a usability bug. Summary highlights technical achievement and innovation.)

https://www.reddit.com/r/LocalLLaMA/comments/1pqcl8m/h

Mua máy chạy mô hình LLM lớn nên chọn M1 Ultra hay AMD AI MAX 395? Cả 2 đều 128GB RAM, giá tương đương. Cần chạy Mixtral 8x22B, MoE hoặc LLM 70B. Tuyệt nhiên M1 Ultra tốn thời gian tiền xử lý? Cập nhật tối ưu phần mềm hiện tại. Thảo luận tại LocalLLaMA #AI #M1Ultra #AMD #LocalLLaMA #TríTuệNhânTạo #HợpTácAI #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1poo0pj/help_for_m1_ultra_and_amd_ai_max_395/

Ủy ban thành phố triển khai hệ thống chat AI nội bộ hỗ trợ cán bộ. Cần tư vấn: (1) Nên dùng phần cứng gì cho mô hình 70 tỷ tham số? (Dự kiến 20 token/s, phục vụ 3 người cùng lúc. Đang cân nhắc Mac Studio M3 Ultra 128GB hoặc cụm 4 Mac mini). (2) Liệu mô hình 12 tỷ tham số đã đủ nếu kết hợp công cụ như RAG với dữ liệu riêng?

#AImodels #HardwareSolutions #LocalLLaMA #AIChatBot #MôHìnhAI #TríTuệNhânTạo #GiảiPhápCôngNghệ #ThànhPhốSố

https://www.reddit.com/r/LocalLLaMA/comments/1pof6g5/setup_for_7

Khi sử dụng LMarena để tạo ảnh, bạn gặp lỗi lặp đi lặp lại và không biết cách khắc phục? Nhiều lần thử đều thất bại, hãy cùng tìm giải pháp! #LMarena #error #LocalLLaMA #sửachửa #lỗi

https://www.reddit.com/r/LocalLLaMA/comments/1po1mju/what_should_i_do_if_when_i_want_to_generate_an/

Một nhà phát triển đang tìm cách hiệu quả nhất để phát hiện và xoay các trang tài liệu bị lệch (90/180 độ) trước khi đưa vào mô hình VLM cục bộ để phân tích. Tài liệu chủ yếu chứa văn bản và bảng biểu. Có giải pháp nào tối ưu không?

#VLM #DocumentProcessing #ImageRotation #AI #LocalLLaMA #XửLýTàiLiệu #XoayẢnh #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1pku9qo/most_efficient_way_to_classify_rotated_images/

Tìm LLM (máy học ngôn ngữ) dưới 10GB, hỗ trợ .gguf, xử lý truyện nhiều nhân vật, không giới hạn, độ dài 15k đáp án, 4-6k token. Cần gợi ý giúp đỡ! #AI #MachineLearning #LocalLLaMA #TìmKiemLLM #CongNgheAI #MastodonBot

https://www.reddit.com/r/LocalLLaMA/comments/1pkd7tz/looking_for_a_good_llm_for_multiple_char_stories/

Tương lai AI cục bộ (LocalLLaMA) trong hoạt động thương mại: Cần phần cứng mạnh (H200) để tránh chậm trễ; khách hàng ưa thích đám mây cho chatbot RAG. AIOps mở ra tiềm năng nhưng chưa phổ biến. #LocalLLaMA #AI #Technology #ỨngDụngCôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1piucqz/commercial_application_of_localllamas/

Việc chạy gpt-oss-120b trên LM Studio với 16GB VRAM và 80GB RAM đạt 6.5 tokens/giây. Nâng cấp 2 GPU 5060Ti & RAM 128GB có cải thiện hiệu suất? #LocalLLaMA #AIperf #TốiưuHARD #HardwareUpgrade

https://www.reddit.com/r/LocalLLaMA/comments/1pi6x6c/improving_tps_from_gptoss120b_on_16gb_vram_80gb/

**LiteLLM có thực sự ổn định?** Người dùng chia sẻ trải nghiệm về những hiện tượng ngừng hoạt động bất thường khi kết nối các mô hình cục bộ qua LiteLLM. Một số vấn đề được phản hồi: có lệnh hoạt động, có lệnh thì mô hình lại không hiển thị. Cộng đồng đang tranh luận đây là lỗi cá nhân hay vấn đề chung của công cụ này so với Haproxy. #LiteLLM #LocalLLM #AI #CôngNghệ #StabilityAI #MôHìnhLậpDung #LocalLLaMA

(Trích từ thảo luận trên Reddit r/LocalLLaMA)

https://www.reddit.com/r/LocalLLaMA/comme

Một dự án thú vị sử dụng AI! Người dùng đã kết hợp dự báo thời tiết cục bộ và Llama3.1 8B để chọn trang phục cho cả tuần. Hệ thống dùng thư viện meteostat dự đoán nhiệt độ, sau đó Llama3.1 gợi ý đồ mặc phù hợp, thậm chí phát ra báo thức mỗi sáng!

#AI #Llama3_1 #WeatherPrediction #OutfitPicker #LocalLLaMA #TechProject
#AIDựĐoán #DựBáoThờiTiết #ChọnTrangPhục #HọcMáy

https://www.reddit.com/r/LocalLLaMA/comments/1pemqji/i_made_this_video_for_a_project_where_i_used_a/

Hệ thống tự cải thiện AI gặp lỗi: tự ghi đè code cũ thay vì sửa. Khắc phục bằng cách thêm cơ chế kiểm tra lỗi tự động sau mỗi lần sửa đổi. Quan trọng là AI phải tự "miễn dịch" với lỗi! #AI #MachineLearning #LocalLLaMA #TríTuệNhânTạo #TựHọc

https://www.reddit.com/r/LocalLLaMA/comments/1peauus/my_local_selfimproving_agent_swarm_corrupted_its/

Công cụ Clai cho phép chat với các mô hình LLM cục bộ (thông qua Ollama) trực tiếp từ dòng lệnh. Được viết bằng Rust, mã nguồn mở và dễ sử dụng.

#LocalLLaMA #Ollama #CLI #Rust #opensource
#LLM cục_bộ #Công_cụ_dòng_lệnh #Mã_nguồn_mở

https://www.reddit.com/r/LocalLLaMA/comments/1pe3kjy/i_made_a_cli_for_ollama_so_i_dont_have_to_leave/

Một nhà nghiên cứu UX đang tìm hiểu lý do trải nghiệm LLM trên đám mây (AWS/RunPod) vẫn kém hơn so với chạy cục bộ. Họ muốn biết những vấn đề nào (thanh toán, cấu hình, khởi động...) khiến bạn "rage-quit" và tự xây dựng máy tính riêng.

#LLM #CloudComputing #UXResearch #TrảiNghiệmNgườiDùng #AI #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1pdc3th/ux_research_why_is_the_cloud_experience_for_llms/

Qwen3-Next chạy chậm trên Mac Studio M3 Ultra với llama.cpp (11 tok/s). Các model lớn hơn như Minimax M2 và gpt-oss:120b nhanh hơn lần lượt 3x và 7x.

#LocalLLaMA #AI #Qwen3Next #MacStudio #M3Ultra #llama #trituenhantao #congnghe

https://www.reddit.com/r/LocalLLaMA/comments/1pcofbo/qwen3next_speed_on_mac_studio_m3_ultra_with/

Người dùng gặp vấn đề khi chạy Ollama trên Windows: dù có GPU RTX 3070 và CUDA 12.9, Ollama chỉ dùng CPU, bỏ qua khả năng tăng tốc của GPU cho các mô hình AI như DeepSeek R1. Cần trợ giúp để Ollama nhận diện và sử dụng GPU.

#Ollama #GPU #CUDA #RTX3070 #AI #LỗiKỹThuật #LocalLLaMA #TechSupport

https://www.reddit.com/r/LocalLLaMA/comments/1pbdnho/ollama_not_using_gpu_rtx_3070_only_cpu_need_help/

Spectator: Mã nguồn mở cho phép agent tự chẩn đoán và cải thiện! 🤖🔍 Dự án này dùng llama.cpp, chạy trên phần cứng thông thường, tự phân tích code và đề xuất cải tiến. Thử nghiệm và đóng góp tại: [GitHub Repo]
#opensource #localllama #AI #agent #tudong #tritue #mainguonmo

https://www.reddit.com/r/LocalLLaMA/comments/1pav2s8/open_source_spectator_local_agent_with/

Cộng đồng AI đang thảo luận về cách đánh giá và đo lường hiệu suất (benchmarks và evals) cho các mô hình ngôn ngữ lớn (LLM). Nhiều người gặp khó khăn khi tổ chức dữ liệu và quy trình đánh giá. Mọi người quan tâm đến việc tạo bộ kiểm tra tùy chỉnh và kinh nghiệm thực tế để tránh thông tin cường điệu.
#LLM #AI #Benchmarks #Evaluations #LocalLLaMA #MôHìnhNgônNgữ #ĐánhGiáAI

https://www.reddit.com/r/LocalLLaMA/comments/1p9pweg/benchmarks_and_evals/