#mayhọc — Public Fediverse posts

Step-3.5-Flash (196B/11B tham số) vượt trội hơn GLM-4.7 và DeepSeek v3.2 (671B/37B). Xuất sắc trong kiểm tra lập trình và tác vụ agent. #AI #Benchmarks #MáyHọc

https://www.reddit.com/r/LocalLLaMA/comments/1qtjhc8/step35flash_196ba11b_outperforms_glm47_and/

IBM giới thiệu mô hình đa phương thức Granite Vision 3.3-2B, hỗ trợ xử lý hình ảnh và văn bản với hiệu suất cao. Phù hợp cho các ứng dụng AI thị giác máy tính và hiểu ngôn ngữ. #AI #MáyHọc #IBM #GraniteVision #ĐaPhươngThức #ArtificialIntelligence #MachineLearning #ComputerVision

https://www.reddit.com/r/LocalLLaMA/comments/1qsrys8/ibmgranitiegranitevision332b/

Tapes: Hệ thống giám sát minh bạch cho AI cục bộ, cho phép lưu trữ session, tìm kiếm cuộc trò chuyện, và phục hồi trạng thái như Git. Tích hợp Ollama, mã nguồn mở. Thử ngay! 🔧 #AI #Tech #LocalLLaMA #MáyHọc #PhátTriểnMở

https://www.reddit.com/r/LocalLLaMA/comments/1qsggwk/introducing_tapes_local_transparent_agentic/

[vLLM Office Hours #42] Cập nhật chi tiết về tính năng CPU Offloading Connector - 29/01/2026. Tính năng đang được phát triển tích cực, nhiều người dùng chưa hiểu rõ hoặc gặp lỗi trước đây. Xem [link] chi tiết, thảo luận tại subreddit.
#vLLM #AI #CPUOffloading #CôngNghệML #LocalLLaMA #DeepLearning #MáyHọc

https://www.reddit.com/r/LocalLLaMA/comments/1qsfctq/vllm_office_hours_42_deep_dive_into_the_vllm_cpu/

Tối ưu Strix Halo 128GB để chạy mô hình AI 93GB với 64k ngữ cảnh. Cài đặt BIOS (RAM toàn bộ cho CPU), GRUB (amdgpu.gttsize=131072), llama-server -c65536/-b2048, lượng hóa q4_0. Hiệu suất chuẩn 7-9 token/giây. #AI #LLM #StrixHalo #LocalLLaMA #MáyHọc

https://www.reddit.com/r/LocalLLaMA/comments/1qsdwlt/93gb_model_on_a_strixhalo_128gb_with_64k_context/

[Cảnh báo] Lỗi chế độ suy nghĩ Qwen3-14B trên Ollama - bản suy luận trộn lẫn với kết quả! Người dùng báo cáo khi chạy Qwen3-14B-GGUF (Q6_K) trên Ollama 0.15.2, lệnh /think không tách riêng phần "Thinking" như video hướng dẫn. Cấu hình phần mềm: Ryzen 5 9600X, 48GB RAM, RX 6900 XT. Cần trợ giúp về Modelfile hoặc cài đặt! #AI #Qwen3 #Ollama #LLM #MáyHọc #SinhViênCôngNghệ #LỗiPhầnMềm #AIVietNam #TechVietNam

https://www.reddit.com/r/LocalLLaMA/comments/1qs9qnd/qwen314b_thinking_mode_not_working_pro

Nén khoảng cách: Trí tuệ nhân tạo và Học tập của con người #AI #TríTuệNhânTạo #HọcTập #MachineLearning #MáyHọc

https://www.reddit.com/r/singularity/comments/1qs7v7a/the_compression_of_distance_ai_and_human_learning/

Công cụ TranslateBot giúp dịch file .po trong Django bằng LLM. Tính năng: quét file .po, dịch entry chưa dịch, giữ nguyên placeholder. Hỗ trợ nhiều nhà cung cấp LLM. #TranslateBot #Django #LLM #PoFile #i18n #opensource #CôngCụDịch #DjangoTool #MáyHọc

https://www.reddit.com/r/opensource/comments/1qs77uh/i_built_a_django_tool_to_translate_po_files_with/

Viết lại các Nguyên lý 12 yếu tố cho hệ thống Agent hiện đại: bộ kiểm tra bao gồm định danh Agent, kiểm soát phiên bản, bảo vệ, theo dõi, giao quyền con người, ngân sách... Bản v1 mở để hợp tác. #AI #AgentSystem #Tech #CôngNghệ #MáyHọc

https://www.reddit.com/r/LocalLLaMA/comments/1qrtdjo/12_factor_inspired_principles_but_for_agents/

Nếu gặp lỗi lặp vô hạn hoặc mã lỗi khi dùng GLM‑4.7‑Flash, hãy xóa thư mục llama.cpp, git clone lại và biên dịch lại từ đầu. Sau khi báo lỗi và kiểm tra log, mô hình chạy ổn với lệnh: llama‑server -m GLM‑4.7‑Flash‑Q4_K_M.gguf -fa on --threads -1 --fit off -ctk q8_0 -ctv q8_0 --temp 0.0 --top-p 0.95 --min-p 0.01 -c 32768 -ncmoe 40 #AI #LLM #CôngNghệ #MáyHọc #Vietnam #MachineLearning #Tech 🚀

https://www.reddit.com/r/LocalLLaMA/comments/1qrmzyx/still_issues_with_glm47flash_here_the_solution/

Giải thích Entropy trong máy học (Phần 2): Hiểu Total Cross Entropy và Loss với ví dụ Python #Entropy #MáyHọc #Python #CrossEntropyLoss #TotalCrossEntropy #MachineLearning #AI

https://dev.to/rijultp/exploring-cross-entropy-part-2-understanding-total-cross-entropy-and-loss-with-a-python-example-5o3

Giải thích Entropy trong máy học (Phần 2): Hiểu Total Cross Entropy và Loss với ví dụ Python #Entropy #MáyHọc #Python #CrossEntropyLoss #TotalCrossEntropy #MachineLearning #AI

https://dev.to/rijultp/exploring-cross-entropy-part-2-understanding-total-cross-entropy-and-loss-with-a-python-example-5o3

Giải thích Entropy trong máy học (Phần 2): Hiểu Total Cross Entropy và Loss với ví dụ Python #Entropy #MáyHọc #Python #CrossEntropyLoss #TotalCrossEntropy #MachineLearning #AI

https://dev.to/rijultp/exploring-cross-entropy-part-2-understanding-total-cross-entropy-and-loss-with-a-python-example-5o3

🚀 Một ứng dụng mã nguồn mở đã được phát triển để thu thập dữ liệu từ Facebook Marketplace và sử dụng mô hình ngôn ngữ lớn (LLM) để đánh giá tiềm năng "lật hàng" (bán lại). Ứng dụng này hỗ trợ tìm kiếm sản phẩm có giá trị và dự đoán lợi nhuận thông qua AI. Nguồn code & video hướng dẫn có tại GitHub & YouTube. #FBMarketplace #MãNguồnMở #AI #LậpTrình #Startup

**Hashtags:** #OpenSource #LLM #Marketplace #Flipper #TechNews #GiámĐịnhHàng #MáyHọc

https://www.reddit.com/r/SideProject/comments/1qrbn

Một thư viện mỏng cho LispE để chạy mô hình GGUF từ llama.cpp với lượng code tối thiểu. Hỗ trợ GPU (Metal/CUDA), lượng tử hóa KV-cache và mô hình từ Ollama/LM-Studio. Mã nguồn mở BSD 3-Clause.

Code ví dụ: tải mô hình, phát sinh văn bản với các tham số linh hoạt. Không cần lớp Python, biên dịch trực tiếp thành C++ objects.

#LispE #LLM #AI #MáyHọc #OpenSource #GGUF #LamaCPP #TựĐộngHóa #Programming #MôHìnhĐạiLượng

https://www.reddit.com/r/LocalLLaMA/comments/1qrajt5/llamacpp_wrapper_for_lisp

Hướng dẫn phân đoạn ảnh với Detectron2 trên tập dữ liệu tùy chỉnh! Bài viết trình bày quy trình huấn luyện và kiểm tra mô hình dựa trên dataset quả (COCO), sử dụng Mask R-CNN làm baseline. Bao gồm đăng ký dataset, cấu hình, tinh chỉnh mô hình. 🤖 [code] [video] #AI #DeepLearning #TríTuệNhânTạo #PhânĐoạnẢnh

Nguồn: Reddit | #HướngDẫn #MáyHọc #VisionAI #Detectron2

https://www.reddit.com/r/SideProject/comments/1qrah6k/awesome_instance_segmentation_photo_segmentation/

Bạn đã sử dụng bitnet.cpp cho ứng dụng sản phẩm chưa? Một backend phân tích & phân loại văn bản đang dùng Ollama (14B) trên GPU hoặc Digital Ocean Agent. Ollama xử lý 2 req/s, chậm và kém mở rộng, trong khi DO tốn kém. Hiện xử lý hàng triệu tài liệu/ngày (~1500 token). Cần chia sẻ kinh nghiệm để đánh giá hiệu quả của bitnet.cpp. #AI #MáyHọc #LàmPhầnMềm #Technology #Tech #SảnXuất #MachineLearning #Software

https://www.reddit.com/r/LocalLLaMA/comments/1qr1j7b/anyone_using_bitnetcpp_for_production

🌐 Có trang web nào gợi ý mô hình LLM cục bộ phù hợp với phần cứng của bạn? Hay ai đó đang xây dựng? Với cấu hình RTX 3090, Ryzen 5700X3D, 64GB RAM, việc lựa chọn mô hình LLM hiệu quả luôn phức tạp và thiếu minh bạch. Ai đã tìm thấy công cụ "tối ưu hóa mô hình + quant" cho từng phần cứng? Hoặc có dự án mở nào cần tester? #LLM #AI #MáyHọc #ThiếtBịCụcBộ #MôHìnhĐạiDiện #TechVN

https://www.reddit.com/r/LocalLLaMA/comments/1qqrjoj/is_there_a_site_that_recommends_local_llms_based/

Tạo giao diện Web đơn giản & API cho Qwen3-tts kết hợp Nix và uv, hỗ trợ YouTube! Đã kiểm tra trên NixOS – bạn có thể đóng góp ý kiến hoặc cải thiện tại GitHub. Thử khám phá và chia sẻ nhận xét! #AI #VoiceCloning #TríTuệNhânTạo #PhátTriểnPhầnMềm #MáyHọc #NixOS

https://www.reddit.com/r/LocalLLaMA/comments/1qqo8ih/project_made_a_web_ui_for_qwen3tts_voice_cloning/

Các nhà nghiên cứu vừa công bố mô hình AI DASD-4B-Thinking mô phỏng phong cách viết Opus 4.5. Dữ liệu huấn luyện đã được chia sẻ trên Hugging Face với chi phí API khoảng $55.91. Kết hợp hiệu quả với Gemini 3 Pro. Nên bắt đầu chiến dịch Kickstarter để mở rộng tài liệu? #AI #MáyHọc 🤖 #HuggingFace #CôngNghệMới

https://www.reddit.com/r/LocalLLaMA/comments/1qqnm9z/train_your_own_ai_to_write_like_opus_45/

📰 AI Agents Tuần Này: Ấn tượng với EvoCUA 32B dẫn đầu (56,7%), Qwen3-TTS nhân bản giọng nói chỉ 3 giây, VIGA cải thiện 3D 124,7%, Moltbot trợ lý cục bộ đa nền tảng, LingBot-VLA xử lý 20.000h dữ liệu thật. Đột phá không ngừng từ cộng đồng mã nguồn mở! #AI #MáyHọc #CôngNghệMở #TríTuệNhiệt

https://www.reddit.com/r/LocalLLaMA/comments/1qqgf00/this_week_in_ai_agents_open_source_edition/

Microsoft vừa công bố VibeVoice-ASR: Mô hình ASR đầu tiên hỗ trợ **60 phút thoại liên tục**, tự động ghi nhãn **Người nói (Speaker)**, **Thời gian (Timestamps)**, **Nội dung (Text)** và hơn **50 ngôn ngữ**. Đặc biệt, hỗ trợ **Từ khóa tùy chỉnh**. #ASR #AI #NgônNgữ #Tech #SpeechToText #MáyHọc #VietnamTech #TinTứcAI

https://www.reddit.com/r/LocalLLaMA/comments/1qqg9ge/finally_an_asr_speechtotext_model_with_diarization/

Một tính năng mới đã được thêm vào dự án llama.cpp để hỗ trợ phân tích mô hình Solar-Open-100B (mô hình AI lớn). Tùy chọn "reasoning_effort" cho phép điều chỉnh mức độ suy luận (từ thấp đến cao). Tham khảo chi tiết tại Reddit và GitHub.

#AI #LLaMA #SolarOpen100B #MáyHọc #CôngNghệAI #MôHìnhĐại #PhátTriểnMôHình

https://www.reddit.com/r/LocalLLaMA/comments/1qqcze7/chat_add_parsing_for_solaropen100b_by_aldehir/

Hướng dẫn chi tiết cách chạy mô hình LLM cục bộ (DeepSeek, Qwen, Gemma) với Claude Code & OpenAI Codex. Kết nối mô hình AI mở nguồn ngay trên thiết bị của bạn.

#AI #MáyHọc #LLM #DeepLearning #AIAssistant #ClaudeCode #OpenAI #TechNews #MôHìnhAI #KỹThuậtViễnTài

https://www.reddit.com/r/LocalLLaMA/comments/1qqc1fx/run_local_llms_with_claude_code_openai_codex/

Tôi đang chạy mô hình QwQ 32B trên LM Studio với lượng hóa 4 bit, tối ưu K/V cache giúp tăng tốc độ xử lý lên 3 lần (40k context thay vì 10k), đồng thời giảm VRAM xuống 19GB/24GB. Tuy nhiên, việc giảm K/V cache xuống 4 bit có ảnh hưởng nhiều đến độ chính xác? Đây là cách tối ưu hiệu quả cho vai trò trò chuyện/role-play với LLM cục bộ. #AI #MáyHọc #LLM #TốiƯuHóa #Quantization #KVTuning

https://www.reddit.com/r/ollama/comments/1qqan74/effects_of_quantized_kv_cache_on_an_already/

Các vấn đề với glm-4.7-flash khi gọi công cụ trong pha suy luận. Người dùng thử nghiệm các phiên bản FP8, AWQ 4-bit và 8-bit nhưng mô hình dừng sau 0-2 lần gọi. Cần hướng dẫn khắc phục. #AI #ML #GLM4_7 #MáyHọc #CôngNghệAI

https://www.reddit.com/r/LocalLLaMA/comments/1qq8zrt/glm47flash_tool_calls_in_reasoning_block/

**ACE-Step 1.5 sớm ra mắt: chỉ cần <4GB VRAM, nhanh hơn 100 lần** 🚀
ACE-Step 1.5 cải tiến vượt trội:
✅ Yêu cầu **<4GB VRAM** (giảm từ 8GB) - phù hợp card đồ họa phổ thông.
✅ Tốc độ gấp **100x** so với kiến trúc LM truyền thống.
✅ Hỗ trợ **50+ ngôn ngữ**, tạo bìa, chỉnh sửa ảnh, chuyển giọng thành nhạc nền.
✅ Kiến trúc **LM + DiT kết hợp Chain-of-Thought**.
Phiên bản chính thức sẽ ra mắt sớm!

#AI #Technologie #ACEStep #MáyHọc #TríTuệNhânTạo #NewTech #DeepLearning

https://www.redd

Start-up **Core Automation** (cựu nghiên cứu OpenAI Jerry Tworek) hướng đến huy động 1 tỷ USD để phát triển AI thế hệ mới. Các mô hình này tập trung vào học tập liên tục từ trải nghiệm thực thế, kiến trúc vượt ngoài transformer, và cần ít 100× dữ liệu so với công nghệ hiện tại. Đây là nỗ lực đột phá từ nhóm "AI neolabs" đang lên.
#AI #MáyHọc #CôngNghệ #CoreAutomation #Startups #AI_Neolabs #ĐộtPháCôngNghệ #TheInformation

https://i.redd.it/49ttodisx9gg1.png

Ollama thiết lập mặc định VRAM quá thấp (4k), gây khó khăn cho người dùng dù mô hình có thể xử lý tới 256k context. Việc thay đổi cài đặt phức tạp và nhiều người sẽ bỏ qua, dẫn đến hiệu suất mô hình yếu. Mac của tôi có 48GB chia sẻ giữa CPU/GPU nhưng Ollama vẫn chưa tự động điều chỉnh hợp lý. #Ollama #AI #MáyHọc #VRAM #HiệuSuấtMôHình

**#Ollama #VRAM #AI #256kContext**
**#Ollama #BộNhớĐồHọa #TríTuệNhiệtNhânTạo**

https://i.redd.it/dvhk25h286gg1.png

ByteDance Seed công bố mô hình Stable-DiffCoder-8B-Instruct, mở đường cho AI tạo văn bản/lập trình bằng kỹ thuật diffusion. Mô hình đã được đăng tải trên Hugging Face và nhận nhiều sự chú ý từ cộng đồng.
#AI #DeepLearning #MáyHọc #ByteDance #HuggingFace #CodeAI #DiffusionModel #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1qpm48y/bytedanceseedstablediffcoder8binstruct_hugging/

Việc lưu trữ (cache) kết quả embedding giúp tăng tốc xử lý 7.6 lần, từ 7 phút 53 giây xuống còn 62 giây. Bài học: Tránh tái tính toán khi không cần thiết để tiết kiệm GPU và năng lượng. #AI #MáyHọc #Caching #OSS #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1qpej60/caching_embedding_outputs_made_my_codebase/

🔥 Cách tạo trailer phim AI 0 đồng nhờ Gemini, Grok & Qwen (16k lượt xem) 🔥
Tác giả chia sẻ quy trình sử dụng LLM bảo toàn tính nhất quán hình ảnh: phân tích pha hành động (ví dụ: lửa rồng), tạo "danh sách cảnh" từ Gemini để lồng vào video. Mẹo: Xác định rõ góc quay, ánh sáng (ví dụ: lửa ấm) & cử chỉ (nhướng mày) để tránh méo mó. Kết quả: Trailer phong cách 8K, chân thực siêu ấn tượng!

#AI #VideoAI #TrailerAI #Gemini #Qwen #TựTạoTrailer #MáyHọc #FreeAI #CôngNghệMới #AIContent #SángTạoAI #N

Bài đăng: Đang xây dựng máy chủ 8 GPU, đang cân nhắc giữa Radeon R9700 (VRAM lớn, giá rẻ) và RTX 3090 (CUDA, hiệu năng cao) cho công việc xử lý AI. Lo lắng về tình trạng GPU đã qua sử dụng RTX 3090 và khả năng nguồn ROCm. Câu hỏi: ai đã test 2 card này? Nên chọn VRAM+giá rẻ hay CUDA+hiệu năng?
#GPU #AI #R9700 #RTX3090 #OC #CôngNghệ #MáyHọc #NewsVie

https://www.reddit.com/r/LocalLLaMA/comments/1qldsdx/8_radeon_r9700s_vs_8_rtx_3090_2_slot_blower_style/

Dự án Local LLM trên Raspberry Pi 5 với Ollama, chạy mượt các model như EXAONE 3.5 2.4B và Qwen3 1.7B chỉ với 4GB RAM. Thiết lập đầy đủ dễ dàng, phù hợp phát triển trợ lý ảo cục bộ.
#RaspberryPi5 #LocalLLM #Ollama #AI #EdgeComputing #TríTuệNhânTạo #IoT #MáyHọc #AIcựcNhẹ #RaspberryPi

https://www.reddit.com/r/LocalLLaMA/comments/1q4t6v5/raspberry_pi_5_local_llm_project/

Dự án Local LLM trên Raspberry Pi 5 với Ollama, chạy mượt các model như EXAONE 3.5 2.4B và Qwen3 1.7B chỉ với 4GB RAM. Thiết lập đầy đủ dễ dàng, phù hợp phát triển trợ lý ảo cục bộ.
#RaspberryPi5 #LocalLLM #Ollama #AI #EdgeComputing #TríTuệNhânTạo #IoT #MáyHọc #AIcựcNhẹ #RaspberryPi

https://www.reddit.com/r/LocalLLaMA/comments/1q4t6v5/raspberry_pi_5_local_llm_project/

Cập nhật AI nổi bật: Nghiên cứu mới mở nguồn Semantic-Drive giúp xử lý hiệu quả "tối dữ liệu" (dark data) trong lái xe tự động. Hệ thống xây dựng trên RTX 3090, kết hợp YOLO-E & VLM lượng tử hóa (Qwen3-VL, Gemma-27B) qua kiến trúc Judge-Scout, đạt tỷ lệ hồi triệu (recall) 0.966 - vượt CLIP 50% và giảm 51% sai sót. Chi phí ~0.85 USD/1k khung, mở nguồn kèm Benchmark. Tag: #AI #XeTựLài #MáyHọc #LocalLLM #TríTuệNhânTạo #KhoaHọcDữLiệu #MôHìnhLLM

https://www.reddit.com/r/LocalLLaMA/comments/1pplvzz/p

Người dùng gặp vấn đề tốc độ server llama.cpp chỉ bằng 1/2 CLI (30 vs 15 token/giây)? Tham khảo thảo luận cộng đồng để kiểm tra lỗi hoặc tối ưu hiệu năng. #LLaMallama.cpp #AI #SpeedTest #MáyHọc #CôngNghệAI #HiệuNăng

https://www.reddit.com/r/LocalLLaMA/comments/1ppjdc0/llamacpp_server_half_as_fast_as_cli/

Apple giới thiệu SHARP – mô hình tạo 3D chân thực từ 1 ảnh trong vài giây. Công nghệ này chuyển đổi ảnh 2D thành biểu diễn Gaussian 3D photorealistic cực nhanh. #Apple #3D #AI #CôngNghệMới #MáyHọc #SHARP

https://www.reddit.com/r/LocalLLaMA/comments/1poy0lb/apple_introduces_sharp_a_model_that_generates_a/

Apple giới thiệu SHARP – mô hình tạo 3D chân thực từ 1 ảnh trong vài giây. Công nghệ này chuyển đổi ảnh 2D thành biểu diễn Gaussian 3D photorealistic cực nhanh. #Apple #3D #AI #CôngNghệMới #MáyHọc #SHARP

https://www.reddit.com/r/LocalLLaMA/comments/1poy0lb/apple_introduces_sharp_a_model_that_generates_a/

Apple giới thiệu SHARP – mô hình tạo 3D chân thực từ 1 ảnh trong vài giây. Công nghệ này chuyển đổi ảnh 2D thành biểu diễn Gaussian 3D photorealistic cực nhanh. #Apple #3D #AI #CôngNghệMới #MáyHọc #SHARP

https://www.reddit.com/r/LocalLLaMA/comments/1poy0lb/apple_introduces_sharp_a_model_that_generates_a/

"Trải nghiệm với AnythingLLM gặp lỗi: mô hình Qwen3-v1-30b-a3b-instruct (32GB GV100, Windows 11, LM Studio 3.35) liệt kê tên tệp nhưng không truy xuất dữ liệu nội dung, chỉ lấy metadata. Đã thử tải lại tệp, giảm temp=0.3 nhưng vẫn bị hallucination. Xin sự hỗ trợ từ cộng đồng! #AI #MáyHọc #AnythingLLM #LỗiPhầnMềm #MôHìnhLLM" (490/500)

https://www.reddit.com/r/LocalLLaMA/comments/1pn5qhf/struggling_with_anythingllm_need_advicehelp/

Tác giả vừa open-source nền tảng nghiên cứu AI Introlix - hỗn hợp giữa GitHub Copilot và Google Docs. Tính năng chính: Bàn nghiên cứu AI hỗ trợ chat/edit, không gian làm việc đồng bộ dữ liệu, nhiều agent AI, và sắp có tính năng định dạng tài liệu tự động. Dự án hiện đang tìm kiếm cộng sự để hoàn thiện và học hỏi.

#AI #MáyHọc #NghiênCứu #MôHìnhTríTuệNhânTạo #CôngCụNghiênCứu #OpenSource #PhátTriểnPhầnMềm #LậpTrình
#ResearchPlatform #LLM #GitHub #StudentDevelop #SideProject

https://www.reddit

Đào tạo mô hình NanoGPT 124m từ đầu chỉ trong 115 phút với card đồ họa 4090 và 1 tỷ token Fineweb! #NanoGPT #AI #MachineLearning #4090 #Fineweb #GPT2 #Training #Model #ArtificialIntelligence #DeepLearning #VietAI #MáyHọc #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1ozre2i/nanogpt_124m_from_scratch_using_a_4090_and_a/

Tác giả đã xây dựng **optim-rag** – một công cụ quản lý RAG nhẹ tinh, chỉ xử lý lại dữ liệu khi có thay đổi. Giờ bạn có thể sửa, xóa hoặc thêm nội dung mà không cần reindex toàn bộ. Dù hiện chỉ hỗ trợ Qdrant, dự án đang phát triển để mở rộng cơ sở dữ liệu và tích hợp mô hình cục bộ. Tác giả chia sẻ thử thách về phần cứng (4GB RTX 3050) khi phát triển.

#RAG #AI #MáyHọc #DevTool #VietnameseAI #CôngNghệMới

https://www.reddit.com/r/LocalLLaMA/comments/1oo5yz6/built_a_lightweight_rag_management_t

Có ai đã chạy LLM trên Intel NPU mới không? CPU Core Ultra 7 285V quảng cáo 40+ TOPS; quan tâm mô hình 7–22B (coding). Thấy đề cập IPEX-LLM, chưa rõ NPU có nhanh hơn iGPU không? #AI #LLM #NPU #Intel #CoreUltra7 #IPEXLLM #TríTuệNhânTạo #MayHọc #LapTrinh #ONNX #ML #EdgeAI #DiễnGiải

https://www.reddit.com/r/LocalLLaMA/comments/1omjqhy/has_anyone_been_able_to_run_llms_on_the_new_intel/