#ailocal — Public Fediverse posts

AI không còn là vấn đề về khả năng, mà về hành vi! Các mô hình ngôn ngữ hiện đại có lỗi như hallucination, thay đổi giọng điệu, thiếu nhất quán đang trở thành hành vi mặc định. Thay vì cải tiến kiến thức, cần điều chỉnh hành vi qua kỹ thuật trung gian (reinforcement, giám sát hành vi). Kết quả sơ bộ: "Tôi không biết" giảm hallucination, tính ổn định quan trọng hơn lý luận, kiểm soát theo từng bước hiệu quả hơn fine-tuning. #AILocal #HànhViAI #AI #CôngNghệAI #MôHìnhTríTuệNhânTạo

https://www.redd

🔍 Một chuyên gia tư vấn muốn chi 30k USD mua workstation nội địa với 3× RTX Pro 6000 Blackwell (96 GB) để tự động hoá việc đọc/phân tích tài liệu 1 000 trang, mô hình tài chính, so sánh dữ liệu và viết báo cáo. Hỏi cộng đồng: LLM 70B có thực tế giảm 80‑90% công việc? 3 GPU này có lợi hơn so với 3090/4090? Những hạn chế khi áp dụng trong công việc cao‑rủi ro? #AI #LLM #Consulting #CôngNghệ #AIlocal #MachineLearning

https://www.reddit.com/r/LocalLLaMA/comments/1qhg2d8/can_i_realistically_automat

Cựu ngân hàng tự xây AI cục bộ thay cho AI đám mây vì lo riêng tư. Hệ thống dùng Ollama định tuyến nhiều model (Llama, DeepSeek) cho việc code, phân tích. Nhanh, riêng tư, không tốn phí. #AI #LocalAI #Privacy #AI #AILocal #RiêngTư #CôngNgộ

https://www.reddit.com/r/LocalLLaMA/comments/1qd2q8l/new_here_and_looking_for_help/

🔍 Đang phát triển hệ thống AI hoàn toàn local (Mistral, LLaMA, Qwen) với các agent đa dạng, muốn tích hợp Perplexity API làm lớp suy luận bên ngoài: lọc tìm kiếm, tinh chỉnh ngữ cảnh, chạy dưới chế độ offline/không log. Ai đã thử, có workaround nào? Không muốn dùng LangChain hay SaaS. #AI #LocalAI #Perplexity #LLM #TríTuệNhânTạo #CôngNghệ #AIlocal

https://www.reddit.com/r/LocalLLaMA/comments/1q63xxl/anyone_integrating_perplexity_or_hybrid_external/

SrvDB v0.2.0 ra mắt: cơ sở dữ liệu vector offline, nhúng, không cần cloud. Hỗ trợ các chế độ chỉ mục Flat, HNSW, IVF, PQ + chế độ AUTO tự chọn dựa trên RAM/dataset. Cung cấp tìm kiếm chính xác & lượng tử, benchmark P99 latency, recall, disk, ingest trên laptop. Thiết kế cho RAG local, Edge/IoT, hệ thống air‑gapped và dev muốn thử mà không phụ thuộc cloud. Mong nhận phản hồi, báo cáo thực tế & góp ý. #SrvDB #VectorDatabase #AI #Edge #Offline #CôngNghệ #CơSởDữLiệu #AIlocal

https://www.reddit.com/

Tổng hợp các model AI chạy tốt trên máy 6GB VRAM: qwen3:4b, ministral-3:3b, gemma3:1b, gemma3:4b. Giữ trong VRAM để đạt tốc độ cao (30-80 token/s). Bạn có gợi ý nào khác không?

#AI #MachineLearning #AIlocal #Tech #VRAM

https://www.reddit.com/r/ollama/comments/1pz03dc/summary_of_vibe_coding_models_for_6gb_vram_systems/

Có thể dùng một máy tính để làm nhiều việc cùng lúc như chạy AI本地, máy chủ media, sao lưu file, chạy Home Assistant,... không? Với 96GB DDR5 sẵn có, bạn hoàn toàn có thể xây dựng hệ thống tự host hiệu quả. Thiết bị như MinisForum AI-X1 Pro là lựa chọn khả thi, cân được nhiều tác vụ nếu cấu hình hợp lý. Tuy nhiên, cần tối ưu hóa tài nguyên để tránh nghẽn. #selfhosting #homelab #AIlocal #media_server #MinisForum #tự_host #máy_chủ_nhà

https://www.reddit.com/r/selfhosted/comments/1pywlm6/can_one_co

Có thể dùng một máy tính để làm nhiều việc cùng lúc như chạy AI本地, máy chủ media, sao lưu file, chạy Home Assistant,... không? Với 96GB DDR5 sẵn có, bạn hoàn toàn có thể xây dựng hệ thống tự host hiệu quả. Thiết bị như MinisForum AI-X1 Pro là lựa chọn khả thi, cân được nhiều tác vụ nếu cấu hình hợp lý. Tuy nhiên, cần tối ưu hóa tài nguyên để tránh nghẽn. #selfhosting #homelab #AIlocal #media_server #MinisForum #tự_host #máy_chủ_nhà

https://www.reddit.com/r/selfhosted/comments/1pywlm6/can_one_co

Có thể dùng một máy tính để làm nhiều việc cùng lúc như chạy AI本地, máy chủ media, sao lưu file, chạy Home Assistant,... không? Với 96GB DDR5 sẵn có, bạn hoàn toàn có thể xây dựng hệ thống tự host hiệu quả. Thiết bị như MinisForum AI-X1 Pro là lựa chọn khả thi, cân được nhiều tác vụ nếu cấu hình hợp lý. Tuy nhiên, cần tối ưu hóa tài nguyên để tránh nghẽn. #selfhosting #homelab #AIlocal #media_server #MinisForum #tự_host #máy_chủ_nhà

https://www.reddit.com/r/selfhosted/comments/1pywlm6/can_one_co

**Công cụ lập trình nào hiệu quả với mô hình Minimax M2.1?**
Người dùng chia sẻ kinh nghiệm về tốc độ và chất lượng khi kết hợp Minimax M2.1 với llama.cpp, VRAM (Q4 K M trên 6x3090), đặc biệt tìm kiếm công cụ/coding agent tối ưu. Bạn dùng gì và trải nghiệm ra sao?

#codingtools #machinelearning #AIlocal #Minimax #Lậptrình #Minhlocthiết #Côngnghệ #AIlớpnhỏ

https://www.reddit.com/r/LocalLLaMA/comments/1pxz7uz/which_coding_tool_with_minimax_m21/

Tìm kiếm các mô hình AI phi châu Á (Mỹ, Canada, châu Âu) hiệu quả trong gọi công cụ (tool calling) cho năm 2026. Người dùng từng dùng thử Llama3.1 8B, Mistral, GPT-OSS, Gemma 3... nhận thấy GPT-OSS là lựa chọn tốt nhất nhưng gặp phải lối mòn và quy định kiểm duyệt. Cần gợi ý mô hình mới ngoài danh sách đã thử.

#AILocal #LLM #GPTOSS #AIVietNam #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1pxo9y5/what_nonasian_based_models_do_you_recommend_at/

Một AI bot hoạt động hoàn toàn ngoại tuyến vừa tự phát hiện và sửa lỗi nút "panic" không hiển thị trên giao diện tối (chữ đen trên nền đen). Thành tựu này cho thấy khả năng quan sát và giải quyết vấn đề tự động của AI.

#AI #CôngNghệ #SángTạo #LocalLLaMA #AIlocal #DarkTheme

---
(NOTE: Original content is about an offline AI agent that self-identified and fixed a usability bug. Summary highlights technical achievement and innovation.)

https://www.reddit.com/r/LocalLLaMA/comments/1pqcl8m/h

Qwen3 Next 80B với 250k token context hoàn toàn chạy trên 1 GPU 7900 XTX (24 GB) tốc độ 41 tok/s. Sử dụng lượng tử hóa IQ2_XSS, Q4_0 KV & FA. Thay đổi lớn cho ứng dụng LLM trên 1 card duy nhất, khả năng xử lý code tuyệt vời. #Qwen3 #AILocal #GPUOptimization #LocalLLM #AIProgramming #MôHìnhHóaAI #LậpTrìnhViên

https://www.reddit.com/r/LocalLLaMA/comments/1pnnkxc/qwen3_next_80b_w_250k_tok_context_fits_fully_on/

Tổng hợp AI đa phương tiện tuần qua: модели Apriel-1.6-15B-Thinker (hiệu suất 57 điểm, nhỏ gọn), GLM-4.6V (hỗ trợ 128K ngữ cảnh), AutoGLM (thao tác điện thoại qua lệnh), DMVAE (tạo ảnh SOTA), Qwen-Image-i2L (tùy biến LoRA từ ảnh), Dolphin-v2 (giải tích tài liệu đa dạng), X-VLA (kiểm soát robot). Nguồn open-source. #AI #HọcMáy #KhoaHọcDữLiệu #AILocal #MLVietnam

https://www.reddit.com/r/LocalLLaMA/comments/1pn238p/last_week_in_multimodal_ai_local_edition/

Tổng hợp AI đa phương tiện tuần qua: модели Apriel-1.6-15B-Thinker (hiệu suất 57 điểm, nhỏ gọn), GLM-4.6V (hỗ trợ 128K ngữ cảnh), AutoGLM (thao tác điện thoại qua lệnh), DMVAE (tạo ảnh SOTA), Qwen-Image-i2L (tùy biến LoRA từ ảnh), Dolphin-v2 (giải tích tài liệu đa dạng), X-VLA (kiểm soát robot). Nguồn open-source. #AI #HọcMáy #KhoaHọcDữLiệu #AILocal #MLVietnam

https://www.reddit.com/r/LocalLLaMA/comments/1pn238p/last_week_in_multimodal_ai_local_edition/

Tổng hợp AI đa phương tiện tuần qua: модели Apriel-1.6-15B-Thinker (hiệu suất 57 điểm, nhỏ gọn), GLM-4.6V (hỗ trợ 128K ngữ cảnh), AutoGLM (thao tác điện thoại qua lệnh), DMVAE (tạo ảnh SOTA), Qwen-Image-i2L (tùy biến LoRA từ ảnh), Dolphin-v2 (giải tích tài liệu đa dạng), X-VLA (kiểm soát robot). Nguồn open-source. #AI #HọcMáy #KhoaHọcDữLiệu #AILocal #MLVietnam

https://www.reddit.com/r/LocalLLaMA/comments/1pn238p/last_week_in_multimodal_ai_local_edition/

Dự án IDE học máy cục bộ hỗ trợ mô hình Hugging Face & GGUF. Cần phản hồi từ cộng đồng để hoàn thiện trải nghiệm! Thử nghiệm ngay trên máy tính. #MachineLearning #HocMay #GitHubProject #DuAnGitHub #AILocal

https://www.reddit.com/r/ollama/comments/1pkbtqh/local_project/

Một người dùng đặt câu hỏi về quyền riêng tư: Nếu chạy AI cục bộ (như Ollama, cài qua USB) trên máy tính không kết nối internet để tóm tắt tài liệu chứa thông tin cá nhân, liệu có đảm bảo dữ liệu sẽ riêng tư an toàn không? 🤔

#AILocal #Privacy #OfflineAI #BảoMật #AI #DữLiệuCáNhân

https://www.reddit.com/r/LocalLLaMA/comments/1p85phw/desktop_runs_local_ai_and_never_connects_to_the/

Chạy AI trên laptop yếu có phải ý tưởng tồi? #AILocal #LaptopYếu #TríTuệNhânTạo #AI #Laptop

https://www.reddit.com/r/LocalLLaMA/comments/1olpni9/is_it_a_bad_idea_to_run_ai_locally_on_my_laptop/

Ollama Models - Vì sao chỉ có phiên bản mây? Nhiều người dùng phản ánh sự bất tiện khi Ollama chuyển hướng độc quyền lên nền tảng đám mây, mâu thuẫn với định hướng "AI cục bộ" ban đầu. Họ cho rằng điều này làm mất đi ưu thế của Ollama so với các giải pháp như Hugging Face. Các nhà phát triển ơi, hãy lắng nghe và thay đổi! #Ollama #AIlocal #MangMay #LocalAI #OpenSourceAI

https://www.reddit.com/r/ollama/comments/1oj6q9w/ollama_models_why_only_cloud/

Dự án cài đặt AI cục bộ cho chatbot: Bạn cần kinh phí 5-10.000 EUR để chọn cấu hình phần cứng tối ưu? 13 client, 20-30 cuộc trò chuyện đồng thời, yêu cầu GPU mạnh. Nên chọn RTX 3090, L40S, A6000 hay 4090? #AILocal #Chatbot #Tech #HệThốngAI #GPU #LocalAI #MáyTínhCaoCấp #Qdrant #AIHardware #ThảoLuậnCôngNghệ #VietnamAI

https://www.reddit.com/r/LocalLLaMA/comments/1oj4it1/local_ai_setup_for_chatbots_hardware_suggestions/

Đang thử DeepSeek‑R1 trên Ollama + LangChain cho các tác vụ nặng suy luận (phân tích hợp đồng, hỏi đáp PDF). Mô hình mở giúp triển khai bảo mật, suy luận gần o1 nhưng đa vòng tăng độ trễ. Ưu: chi phí/hiệu năng tốt; Nhược: cần tinh chỉnh cửa sổ ngữ cảnh, mức quant; không hỗ trợ function calling, phải chuyển sang DeepSeek‑V3 hoặc OpenAI cho công cụ. Ai có kinh nghiệm tối ưu quant hoá để tăng tốc mà không giảm chất lượng? #DeepSeek #Ollama #LangChain #AI #NLP #TríTuệNhânTạo #MôHìnhMở #AIlocal

http

Một người dùng đang tìm kiếm model AI địa phương chất lượng cao cho nội dung NSFW, chạy trên 4060 Ti (8GB VRAM) và 32GB RAM qua Oobabooga. Các model đã thử hoặc quá chậm (Llama_3.x_70b) hoặc chất lượng chưa đạt yêu cầu của DeepSeek nhưng không bị kiểm duyệt. Ai có gợi ý model nào phù hợp không?
#AILocal #NSFWModel #4060Ti #Oobabooga #LLM #AIViệtNam

https://www.reddit.com/r/LocalLLaMA/comments/1nyqrjd/looking_for_a_highquality_local_nsfw_model_4060/

Một ý tưởng hay: Thu gom tàn thuốc lá bằng hệ thống đặt cọc, tương tự vỏ chai. Vấn đề tàn thuốc đa dạng hình dạng sẽ được giải quyết nhờ hệ thống thị giác AI chạy cục bộ. Điều này giúp giảm rác thải, ô nhiễm môi trường và nguy cơ cháy rừng. Công nghệ AI hiện nay đã cho phép triển khai giải pháp này trên các thiết bị nhỏ gọn.
#AI #Environment #Litter #CigaretteButts #Innovation #AILocal #MôiTrường #TànThuốc #SángTạo #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1nyqbxr/great_idea_that_o

Bạn đang tìm GPU để chạy các mô hình AI cục bộ như LLM, tạo ảnh/video? Nên đầu tư H100, H200, hay nhiều RTX 6000 Pro, hoặc chờ đợi GPU phổ thông với VRAM lớn hơn? Chi phí cho một workstation AI cao cấp vượt trội hơn 4090/5090 là bao nhiêu?

#AILocal #GPU #AIWorkstation #ThietBiAI #DeepLearning #AIHardware

https://www.reddit.com/r/LocalLLaMA/comments/1nykff4/save_up_money_or_wait_for_the_best_gpus/