home.social

#localllama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #localllama, aggregated by home.social.

  1. Troed Sångberg @[email protected] ·

    I'm going to idle in a Matrix room from now on for those who want to discuss local AI (LLMs as well as diffusion models and adjacents). I've noticed this is an area that can be quite difficult to get into and since I've spent a considerable amount of time on it myself I'll happily share ideas and practices with others.

    matrix.to/#/#LocalLLaMa:argot.

    Local models allow using them for many different workflows without having to think of token costs - as well as knowing that sensitive data don't leave your premises.

    #LLM #AI #LocalLLaMa

    #llm #ai #localllama
  2. Troed Sångberg @[email protected] ·

    I'm going to idle in a Matrix room from now on for those who want to discuss local AI (LLMs as well as diffusion models and adjacents). I've noticed this is an area that can be quite difficult to get into and since I've spent a considerable amount of time on it myself I'll happily share ideas and practices with others.

    matrix.to/#/#LocalLLaMa:argot.

    Local models allow using them for many different workflows without having to think of token costs - as well as knowing that sensitive data don't leave your premises.

    #LLM #AI #LocalLLaMa

    #llm #ai #localllama
  3. Arint - SEO+KI @[email protected] ·

    RT @SlimTradeyBaby: Google hat Gemma 4 auf 31 Milliarden Parameter begrenzt. Ein Entwickler sagte: „Scheiß darauf." Er duplizierte nicht einfach nur Schichten. Er führte eine Art neuronale Chirurgie durch: Er fügte völlig neue Schichten ein, die so konstruiert waren, dass sie zunächst wie perfekte Geisterkopien wirkten und die Ausgabe des Modells um genau null veränderten. Dies schuf leeren mentalen Raum innerhalb der KI, damit sie völlig neues Wissen (koreanisches Recht und fortgeschrittene MINT-Fächer) absorbieren konnte, ohne das bereits Gelernte zu zerstören. Dann trainierte er es. Die neuen Schichten blieben nicht passiv. Sie „erwachten" und trugen mehr bei als die ursprünglichen Schichten. Während Google auf Sicherheit setzt, baut das Open-Source-Underground im Stillen die Modelle, die Google nicht bauen wird. Das verändert alles. teddit.net/r/LocalLLaMA/comm… Link Von der LocalLLaMA-Community auf Reddit: Ich habe Gemma4-31B auf 44 Milliarden Parameter (88 Schichten) erweitert — da Google... Entdecke diesen Beitrag und mehr aus der LocalLLaMA-Community auf reddit.com

    mehr auf Arint.info

    #AICommunity #Gemma4 #LocalLLaMA #MachineLearning #NeuralSurgery #OpenSourceAI #arint_info

    https://x.com/SlimTradeyBaby/status/2073385084380426608#m

    #aicommunity #gemma4 #localllama #machinelearning #neuralsurgery #opensourceai
  4. Arint - SEO+KI @[email protected] ·

    RT @SlimTradeyBaby: Google hat Gemma 4 auf 31 Milliarden Parameter begrenzt. Ein Entwickler sagte: „Scheiß darauf." Er duplizierte nicht einfach nur Schichten. Er führte eine Art neuronale Chirurgie durch: Er fügte völlig neue Schichten ein, die so konstruiert waren, dass sie zunächst wie perfekte Geisterkopien wirkten und die Ausgabe des Modells um genau null veränderten. Dies schuf leeren mentalen Raum innerhalb der KI, damit sie völlig neues Wissen (koreanisches Recht und fortgeschrittene MINT-Fächer) absorbieren konnte, ohne das bereits Gelernte zu zerstören. Dann trainierte er es. Die neuen Schichten blieben nicht passiv. Sie „erwachten" und trugen mehr bei als die ursprünglichen Schichten. Während Google auf Sicherheit setzt, baut das Open-Source-Underground im Stillen die Modelle, die Google nicht bauen wird. Das verändert alles. teddit.net/r/LocalLLaMA/comm… Link Von der LocalLLaMA-Community auf Reddit: Ich habe Gemma4-31B auf 44 Milliarden Parameter (88 Schichten) erweitert — da Google... Entdecke diesen Beitrag und mehr aus der LocalLLaMA-Community auf reddit.com

    mehr auf Arint.info

    #AICommunity #Gemma4 #LocalLLaMA #MachineLearning #NeuralSurgery #OpenSourceAI #arint_info

    https://x.com/SlimTradeyBaby/status/2073385084380426608#m

    #aicommunity #gemma4 #localllama #machinelearning #neuralsurgery #opensourceai
  5. Arint - SEO+KI @[email protected] ·

    RT @SlimTradeyBaby: Google hat Gemma 4 auf 31 Milliarden Parameter begrenzt. Ein Entwickler sagte: „Scheiß darauf." Er duplizierte nicht einfach nur Schichten. Er führte eine Art neuronale Chirurgie durch: Er fügte völlig neue Schichten ein, die so konstruiert waren, dass sie zunächst wie perfekte Geisterkopien wirkten und die Ausgabe des Modells um genau null veränderten. Dies schuf leeren mentalen Raum innerhalb der KI, damit sie völlig neues Wissen (koreanisches Recht und fortgeschrittene MINT-Fächer) absorbieren konnte, ohne das bereits Gelernte zu zerstören. Dann trainierte er es. Die neuen Schichten blieben nicht passiv. Sie „erwachten" und trugen mehr bei als die ursprünglichen Schichten. Während Google auf Sicherheit setzt, baut das Open-Source-Underground im Stillen die Modelle, die Google nicht bauen wird. Das verändert alles. teddit.net/r/LocalLLaMA/comm… Link Von der LocalLLaMA-Community auf Reddit: Ich habe Gemma4-31B auf 44 Milliarden Parameter (88 Schichten) erweitert — da Google... Entdecke diesen Beitrag und mehr aus der LocalLLaMA-Community auf reddit.com

    mehr auf Arint.info

    #AICommunity #Gemma4 #LocalLLaMA #MachineLearning #NeuralSurgery #OpenSourceAI #arint_info

    https://x.com/SlimTradeyBaby/status/2073385084380426608#m

    #aicommunity #gemma4 #localllama #machinelearning #neuralsurgery #opensourceai
  6. Jukka 💚🏳️‍🌈🇵🇸🇺🇦 @[email protected] ·

    EVO-X2 users? Is it worth it?

    #localllama

    #localllama
  7. Jukka 💚🏳️‍🌈🇵🇸🇺🇦 @[email protected] ·

    EVO-X2 users? Is it worth it?

    #localllama

    #localllama
  8. Suisse @[email protected] ·

    europesays.com/ch-fr/183597/ Ce robot à monter soi-même « plane » en temps réel #amateur #automatisation #cannabis #Capteur #Chatbot #COV #échantillonneur #fumée #IA #IAGénérative #InformationsSurDesOrdinateursPortatifs #LLM #LocalLLaMA #matériel #MQ2 #nouvelles #rapport #Reddit #revues #robot #robotique #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #Sparky #Suisse #Technologies #Technology #température #test #top_k

    #top_k #test #temperature #technology #technologies #suisse
  9. Scott Galloway @[email protected] ·

    So with this and smart use of LLM hosting (vLLM / Ollama etc) I can run the likes of lucidRAG (which needs GPUs) for FREE (well energy prices)...
    Local LLM FTW!
    #localllama

    #localllama
  10. Scott Galloway @[email protected] ·

    So with this and smart use of LLM hosting (vLLM / Ollama etc) I can run the likes of lucidRAG (which needs GPUs) for FREE (well energy prices)...
    Local LLM FTW!
    #localllama

    #localllama
  11. Troed Sångberg @[email protected] ·

    Google just released "QAT" versions of their Gemma 4 models. QAT stands for "yeah we know you people don't have enough VRAM so we trained the model knowing you'd quantize it down to 4 bits anyway" and apparently that makes a 4-bit QAT-model perform similar to an 8-bit quantized with previous methods.

    This is a game-changer for running LLMs locally. As a first try I'm running unsloth's version of the 12b model released yesterday, and _without_ quantizing the KV-cache and with >128000 byte context it's not even filling up my 16GB VRAM. Prompt processing > 2000t/s and inference at >40 t/s.

    huggingface.co/unsloth/gemma-4

    #LLM #LocalLLaMa #Gemma4

    #llm #localllama #gemma4
  12. Troed Sångberg @[email protected] ·

    Google just released "QAT" versions of their Gemma 4 models. QAT stands for "yeah we know you people don't have enough VRAM so we trained the model knowing you'd quantize it down to 4 bits anyway" and apparently that makes a 4-bit QAT-model perform similar to an 8-bit quantized with previous methods.

    This is a game-changer for running LLMs locally. As a first try I'm running unsloth's version of the 12b model released yesterday, and _without_ quantizing the KV-cache and with >128000 byte context it's not even filling up my 16GB VRAM. Prompt processing > 2000t/s and inference at >40 t/s.

    huggingface.co/unsloth/gemma-4

    #LLM #LocalLLaMa #Gemma4

    #llm #localllama #gemma4
  13. Some Bits: Nelson's Linkblog @[email protected] ·

    Unsloth Qwen3.6: New coding model of interest if you run AI coding agents locally
    unsloth.ai/docs/models/qwen3.6
    #localllama #claudecode #coding #agents #qwen #ai #+

    #localllama #claudecode #coding #agents #qwen #ai
  14. Reddit Tech VN Bot @[email protected] ·

    Chủ đề "Chonkers và nhiệt độ (dual 3090)" chia sẻ thách thức khi tái sử dụng linh kiện cũ để xây dựng máy tính cục bộ. Người dùng gặp vấn đề với khoảng cách và không thể cài đặt dọc card đồ họa thứ hai, đặt câu hỏi liệu hệ thống có hoạt động ổn định không? ✨ #Côngnghệ #HARDWARE #AI #Thửthách #LocalLLaMA

    *#Tech #GPU #HardwareEnthusiast #ThermalManagement #DIY*

    reddit.com/r/LocalLLaMA/commen

    #congnghệ #hardware #ai #thửthach #localllama #tech
  15. Reddit Tech VN Bot @[email protected] ·

    **Trạng thái AI năm 2026: LLM, lập trình, quy luật mở rộng, Trung Quốc, agent, GPU, AGI. Lex Fridman Podcast #490 phân tích xu hướng công nghệ AI và thách thức tương lai.**
    #AI #LLM #AGI #TechTrend #TríTuệNhânTạo #AI2026 #LocalLLaMA

    *(Dự báo AI 2026: Phát triển LLM mã nguồn mở, tác động của quy mô dữ liệu, vai trò Trung Quốc, tiến bộ GPU và bước gần hơn đến AGI.)*
    #ThuốcNhuộmAI #TươngLaiCôngNghệ #LexFridman #AIInsights

    reddit.com/r/LocalLLaMA/commen

    #ai #llm #agi #techtrend #trituệnhantạo #ai2026
  16. Reddit Tech VN Bot @[email protected] ·

    Tapes: Hệ thống giám sát minh bạch cho AI cục bộ, cho phép lưu trữ session, tìm kiếm cuộc trò chuyện, và phục hồi trạng thái như Git. Tích hợp Ollama, mã nguồn mở. Thử ngay! 🔧 #AI #Tech #LocalLLaMA #MáyHọc #PhátTriểnMở

    reddit.com/r/LocalLLaMA/commen

    #ai #tech #localllama #mayhọc #phattriểnmở
  17. Reddit Tech VN Bot @[email protected] ·

    [vLLM Office Hours #42] Cập nhật chi tiết về tính năng CPU Offloading Connector - 29/01/2026. Tính năng đang được phát triển tích cực, nhiều người dùng chưa hiểu rõ hoặc gặp lỗi trước đây. Xem [link] chi tiết, thảo luận tại subreddit.
    #vLLM #AI #CPUOffloading #CôngNghệML #LocalLLaMA #DeepLearning #MáyHọc

    reddit.com/r/LocalLLaMA/commen

    #vllm #ai #cpuoffloading #congnghệml #localllama #deeplearning
  18. Reddit Tech VN Bot @[email protected] ·

    Tối ưu Strix Halo 128GB để chạy mô hình AI 93GB với 64k ngữ cảnh. Cài đặt BIOS (RAM toàn bộ cho CPU), GRUB (amdgpu.gttsize=131072), llama-server -c65536/-b2048, lượng hóa q4_0. Hiệu suất chuẩn 7-9 token/giây. #AI #LLM #StrixHalo #LocalLLaMA #MáyHọc

    reddit.com/r/LocalLLaMA/commen

    #ai #llm #strixhalo #localllama #mayhọc
  19. Reddit Tech VN Bot @[email protected] ·

    GPT-OSS 120b vẫn là một trong những mô hình tốt nhất dù đã ra mắt lâu. Tại sao nó lại nhanh và hiệu quả? Liệu có thể đào tạo mô hình mới tốt hơn không? #GPT_OSS #LLM #MôHìnhTríTuệ #AI #TríTuệNhânTạo #LocalLLaMA #GPT

    reddit.com/r/LocalLLaMA/commen

    #gpt_oss #llm #mohinhtrituệ #ai #trituệnhantạo #localllama
  20. Reddit Tech VN Bot @[email protected] ·

    Hệ thống nhớ AI chống "quên" sau compaction bối cảnh! CMDRBottoms chia sẻ giải pháp với: 📄 NOW.md (200dòng bền vững), 🧠 MEMORY.md tự quản lý, 🔍 ChromaDB tìm kiếm ngữ nghĩa, & 🗃 SQLite theo dõi sự kiện. Kết hợp dữ liệu cấu trúc + tìm kiếm ngữ nghĩa để khắc phục giới hạn bối cảnh AI. #AImemory #LocalLLaMA #BộnhớAI #CôngnghệAI

    reddit.com/r/LocalLLaMA/commen

    #aimemory #localllama #bộnhớai #congnghệai
  21. Reddit Tech VN Bot @[email protected] ·

    Tác giả đã phát triển Monolith – ứng dụng Windows kết hợp LLM, Stable Diffusion, và tạo âm thanh trong một giao diện. Yêu cầu: Windows, GPU CUDA, Python 3.10+. Bản alpha, mã nguồn mở MIT. Đánh giá tính năng, hiệu năng & tìm thử nghiệm trên AMD/Mac. GitHub: [github.com/Svnse/monolith](https://github.com/Svnse/monolith)
    #AI #MachineLearning #LocalLLaMA #StableDiffusion #ÂmThanh #PhátTriểnPhầnMềm #CUDA #Windows #MởMã #ỨngDụngBảnĐịa #AIHiệnĐại #GiaoDịchĐaNăng

    reddit.com/r/LocalLLaMA/c

    #ai #machinelearning #localllama #stablediffusion #amthanh #phattriểnphầnmềm
  22. Reddit Tech VN Bot @[email protected] ·

    50 tokens/giây có tốt không? Một người dùng chia sẻ trải nghiệm chạy Llama3.2 trên điện thoại qua Termux, đạt ~50 TPS. Đây là lần đầu họ chạy AI cục bộ. Liệu tốc độ này có cao? #LocalLLaMA #TokensPerSecond #AIandML #TỷLệTokenGiây #HọcMáy #CôngNghệAI

    reddit.com/r/LocalLLaMA/commen

    #localllama #tokenspersecond #aiandml #tỷlệtokengiay #họcmay #congnghệai
  23. Reddit Tech VN Bot @[email protected] ·

    Đội nhóm cần gợi ý mô hình chuyên **dịch đa ngôn ngữ** nhanh, gọn nhẹ, phục vụ quy mô 100-500 bản dịch/phút. Ai có đề xuất phù hợp? 🚀
    #AI #DịchTựĐộng #MachineLearning #LocalLLaMA #VietnamAI #Technology #Translation

    reddit.com/r/LocalLLaMA/commen

    #ai #dịchtựdộng #machinelearning #localllama #vietnamai #technology
  24. Reddit Tech VN Bot @[email protected] ·

    Việc lưu trữ (cache) kết quả embedding giúp tăng tốc xử lý 7.6 lần, từ 7 phút 53 giây xuống còn 62 giây. Bài học: Tránh tái tính toán khi không cần thiết để tiết kiệm GPU và năng lượng. #AI #MáyHọc #Caching #OSS #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #ai #mayhọc #caching #oss #localllama
  25. Reddit Tech VN Bot @[email protected] ·

    Dự án cá nhân của một kỹ sư đang tìm mô hình nhỏ (<3B) tối ưu cho OCR và dịch thuật năm 2026. Hiện đang dùng Gemini Flash 3.0 qua API, nhưng muốn chuyển sang mô hình cục bộ. Qwen 2B VL được đề cập, nhưng cần gợi ý tốt hơn. #AI #OCR #Dịch_thuật #Mô_hình_AI #LocalLLaMA #Technology #VietnamAI

    reddit.com/r/LocalLLaMA/commen

    #ai #ocr #dịch_thuật #mo_hinh_ai #localllama #technology
  26. Reddit Tech VN Bot @[email protected] ·

    Người dùng Reddit báo cáo Jan.ai không nhận diện GPU AMD RX 9070 XT. Họ đã thử, kèm ảnh chụp màn hình cho thấy GPU không được phát hiện và hỏi cách khắc phục. Cần hỗ trợ cấu hình hoặc giải pháp tương thích. #JanAI #AMD #GPU #AI #Tech #CôngNghệ #LocalLLaMA #AI #GPU 🚀

    reddit.com/r/LocalLLaMA/commen

    #janai #amd #gpu #ai #tech #congnghệ
  27. Reddit Tech VN Bot @[email protected] ·

    RTX 6000 Pro (Blackwell) không khởi động trên mainboard MSI Z790-P. Lỗi: LED EZ Debug nhấp nháy đỏ-vàng rồi tắt. Khắc phục: Dùng iGPU vào BIOS, tắt CSM, bật Above 4GB Decoding, tắt ReBAR. Sau cập nhật BIOS, cài đặt bị reset – cần lặp lại thao tác. Mainboard MSI hỗ trợ GPU yếu, iGPU lỗi khi CSM tắt. Cần thay mainboard khác. #RTX6000Pro #Blackwell #MSI #Z790 #PCIE5 #UEFI #CSM #ReBAR #vietnamese #LocalLLaMA #GPU #BIOS #HACK 🖥️🔧

    reddit.com/r/LocalLLaMA/commen

    #rtx6000pro #blackwell #msi #z790 #pcie5 #uefi
  28. Reddit Tech VN Bot @[email protected] ·

    Để ngăn các MCP (công cụ/tài nguyên hữu ích) bị thất lạc sau các cuộc thảo luận, một chỉ mục cộng đồng đã được tạo. Nơi đây sẽ lưu giữ các MCP đáng tin cậy, ghi lại mẹo cài đặt, hạn chế và ghi công người đóng góp. Đây là một nỗ lực phi lợi nhuận, nhằm tổng hợp tài nguyên giá trị và dễ tìm kiếm.

    #MCPs #CommunityIndex #AIResources #OpenSource #LocalLLaMA #ChỉMụcCộngĐồng #TàiNguyênAI #CôngCụAI #PhiLợiNhuận

    reddit.com/r/LocalLLaMA/commen

    #mcps #communityindex #airesources #opensource #localllama #chỉmụccộngdồng
  29. Reddit Tech VN Bot @[email protected] ·

    Cần tìm giải pháp local thay thế cho Obsidian + Gemini CLI để viết game design document ngay cả khi offline. AI cần truy cập file trên laptop để hỗ trợ sửa đổi, tìm kiếm văn bản. Đề xuất công cụ nào có thể chạy local trên laptop? #AI #Obsidian #LocalLLaMA #Gemini #GameDev #VietnamAI #ThietBiDiDong

    reddit.com/r/LocalLLaMA/commen

    #ai #obsidian #localllama #gemini #gamedev #vietnamai
  30. Reddit Tech VN Bot @[email protected] ·

    @LocalLLaMA Trùng hợp 2 CPU Xeon 2690 V3 + RAM 2133MHz, nâng tối đa 256GB để tự lưu trữ mô hình AI cỡ lớn (LLM). Có thể chạy mô hình 235B như Qwen3? Mời chia sẻ kinh nghiệm & đánh giá hiệu năng! #SelfHosting #LLM #AI #TựNhânViễn #Qwen3 #MáyChủAI #ThửTháchCôngNghệ #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #selfhosting #llm #ai #tựnhanviễn #qwen3 #maychủai
  31. Reddit Tech VN Bot @[email protected] ·

    @LocalLLaMA Trùng hợp 2 CPU Xeon 2690 V3 + RAM 2133MHz, nâng tối đa 256GB để tự lưu trữ mô hình AI cỡ lớn (LLM). Có thể chạy mô hình 235B như Qwen3? Mời chia sẻ kinh nghiệm & đánh giá hiệu năng! #SelfHosting #LLM #AI #TựNhânViễn #Qwen3 #MáyChủAI #ThửTháchCôngNghệ #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #selfhosting #llm #ai #tựnhanviễn #qwen3 #maychủai
  32. Reddit Tech VN Bot @[email protected] ·

    @LocalLLaMA Trùng hợp 2 CPU Xeon 2690 V3 + RAM 2133MHz, nâng tối đa 256GB để tự lưu trữ mô hình AI cỡ lớn (LLM). Có thể chạy mô hình 235B như Qwen3? Mời chia sẻ kinh nghiệm & đánh giá hiệu năng! #SelfHosting #LLM #AI #TựNhânViễn #Qwen3 #MáyChủAI #ThửTháchCôngNghệ #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #selfhosting #llm #ai #tựnhanviễn #qwen3 #maychủai
  33. Reddit Tech VN Bot @[email protected] ·

    Dự án RAG nhỏ với 16GB VRAM: Người dùng muốn tự lưu trữ mô hình AI để xử lý tài liệu Google trên card đồ họa 16GB, đặt câu hỏi về giới hạn và gợi ý mô hình nhỏ.
    #RAG #VRAM #AI #HocMay #CongNgheThôngTin #LocalLLaMA #MôHìnhAI

    reddit.com/r/LocalLLaMA/commen

    #rag #vram #ai #hocmay #congnghethongtin #localllama
  34. Reddit Tech VN Bot @[email protected] ·

    Tổng hợp trải nghiệm tích hợp Tinyllama với Discord Bot: Sử dụng hiệu quả cho Q&A, nhỏ gọn, nhanh chóng, tốt với định nghĩa từ/khái niệm. Chủ đề đang bị giới hạn bởi khả năng của AI miễn phí. #AI #DiscordBot #Tinyllama #TríTuệNhânTạo #LocalLLaMA #ThửNghiệm #MáyHọc #ChatBot

    reddit.com/r/LocalLLaMA/commen

    #ai #discordbot #tinyllama #trituệnhantạo #localllama #thửnghiệm
  35. Reddit Tech VN Bot @[email protected] ·

    r/LocalLLaMA tổng kết 2025: Một năm đột phá của AI nguồn mở! DeepSeek V3 khởi xướng "Open Source Strike Back", khiến Meta "hoảng loạn" và Sam Altman phải lên tiếng. Trung Quốc dẫn đầu với các mô hình mạnh mẽ như Qwen 3 và GPU giá phải chăng, trong khi Llama 4 của Meta bị đánh giá thấp. Cộng đồng LocalLLaMA vẫn là nơi thảo luận LLM chất lượng.

    #AIOpenSource #DeepSeek #Qwen #LocalLLaMA #AInguonmo #DeepSeekV3 #ThongkeAI

    reddit.com/r/LocalLLaMA/commen

    #aiopensource #deepseek #qwen #localllama #ainguonmo #deepseekv3
  36. Reddit Tech VN Bot @[email protected] ·

    exllamav3 cập nhật hỗ trợ GLM 4.7, 4.6V, Ministral và OLMO 3 #exllamav3 #GLM #Ministral #OLMO #AI #TríTuệNhânTạo #CậpNhậtMới #HỗTrợMới #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #exllamav3 #glm #ministral #olmo #ai #trituệnhantạo
  37. Reddit Tech VN Bot @[email protected] ·

    Xiaomi tung phiên bản mới **MiMo-V2-Flash (309B)**, модель với khả năng xử lý ngôn ngữ cực mạnh, tiến gần hơn đến công nghệ AI hàng đầu. Đây là bước tiến đáng chú ý trong lĩnh vực trí tuệ nhân tạo.

    #Xiaomi #AI #TríTuệNhânTạo #CôngNghệ #MIMOV2Flash #TechNews #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #xiaomi #ai #trituệnhantạo #congnghệ #mimov2flash #technews
  38. Reddit Tech VN Bot @[email protected] ·

    200$ nên làm gì với H100s? Azure cung cấp: 🔥 1x H100: 1.46$/h (eastus2) | 🔥 2x H100: 3.10$/h (northcentralus) | 🔥 8x H100: 16.35$/h (westus3). Hỗ trợ yêu cầu, tinh chỉnh mô hình. #Azure #H100 #AI #LocalLLaMA #MáyHọc #TinhChỉnhMôHình

    reddit.com/r/LocalLLaMA/commen

    #azure #h100 #ai #localllama #mayhọc #tinhchỉnhmohinh
  39. Reddit Tech VN Bot @[email protected] ·

    Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

    reddit.com/r/LocalLLaMA/commen

    #exo10 #mlx #macbook #ai #kếtnốimaytinh #techviet
  40. Reddit Tech VN Bot @[email protected] ·

    Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

    reddit.com/r/LocalLLaMA/commen

    #exo10 #mlx #macbook #ai #kếtnốimaytinh #techviet
  41. Reddit Tech VN Bot @[email protected] ·

    Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

    reddit.com/r/LocalLLaMA/commen

    #exo10 #mlx #macbook #ai #kếtnốimaytinh #techviet
  42. Reddit Tech VN Bot @[email protected] ·

    Exo 1.0 cho phép kết nối Macbook qua cáp Thunderbolt để chạy mô hình AI lớn. Không có giới hạn phần cứng, hỗ trợ đa thiết bị (M1, M2) khác nhau. Cổng Thunderbolt an toàn, tự động phát hiện thiết bị. #Exo10 #MLX #Macbook #AI #KếtNốiMáyTính #TechViet #LocalLLaMA #AppleSilicon #M1M2 #KỹThuậtViễnThông #HợpTácMáyTính

    reddit.com/r/LocalLLaMA/commen

    #hợptacmaytinh #kỹthuậtviễnthong #m1m2 #applesilicon #localllama #techviet
  43. Reddit Tech VN Bot @[email protected] ·

    🌟 Giới thiệu Memora – máy chủ bộ nhớ cục bộ dành cho MCP, được hỗ trợ bởi SQLite, không cần đám mây, có tìm kiếm ngữ nghĩa.

    ✅ 100% cục bộ – Dữ liệu ở trên máy, không gửi ra ngoài.
    🔒 Bảo mật tuyệt đối – Không thu thập dữ liệu, không gọi API (nếu không dùng embeddings).
    ⚡ Tìm kiếm nhanh – Sử dụng FTS5, kết hợp tìm kiếm từ khóa và ngữ nghĩa.
    🧠 Tương thích MCP – Hoạt động với Claude Code, Cursor và các client MCP khác.

    #LocalLLaMA #AIđịaphương #BảoMật #MCP #NguồnMở #AI #TechVietNam

    h

    #localllama #aidịaphương #bảomật #mcp #nguồnmở #ai
  44. Scott Galloway @[email protected] ·

    Ever wonder how tools analyse gigabytes of data, while you’re fighting to squeeze a few KB of code into an Ollama context window?

    The trick isn’t bigger models.
    It’s not giving the data to the LLM at all.

    LLM → SQL → DuckDB → CSV-on-disk
    Schema + samples only. Zero data leakage. Sub-100ms queries on 500MB+ files.

    Local. Private. Scales past RAM.

    Full C# walkthrough:
    mostlylucid.net/blog/analysing

    #llm #csharp #duckdb #ollama #localllama

    #llm #csharp #duckdb #ollama #localllama
  45. Reddit Tech VN Bot @[email protected] ·

    Tại sao không có mô hình Qwen3 Coder - 7b? Người dùng MacBook Pro M4 phát hiện mô hình Qwen2.5 Coder 7b hoạt động tốt, nhưng vẫn chưa có phiên bản Qwen3 7b dù Qwen2.5 7b đã hiệu quả. Đây là chủ đề thảo luận sôi nổi trong cộng đồng lập trình cục bộ. #AI #MôHìnhQwen #CôngNghệAI #VietnamAI #LocalLLaMA

    reddit.com/r/LocalLLaMA/commen

    #ai #mohinhqwen #congnghệai #vietnamai #localllama
  46. Reddit Tech VN Bot @[email protected] ·

    Tương lai AI cục bộ (LocalLLaMA) trong hoạt động thương mại: Cần phần cứng mạnh (H200) để tránh chậm trễ; khách hàng ưa thích đám mây cho chatbot RAG. AIOps mở ra tiềm năng nhưng chưa phổ biến. #LocalLLaMA #AI #Technology #ỨngDụngCôngNghệ #TríTuệNhânTạo

    reddit.com/r/LocalLLaMA/commen

    #localllama #ai #technology #ứngdụngcongnghệ #trituệnhantạo
  47. Reddit Tech VN Bot @[email protected] ·

    **LiteLLM có thực sự ổn định?** Người dùng chia sẻ trải nghiệm về những hiện tượng ngừng hoạt động bất thường khi kết nối các mô hình cục bộ qua LiteLLM. Một số vấn đề được phản hồi: có lệnh hoạt động, có lệnh thì mô hình lại không hiển thị. Cộng đồng đang tranh luận đây là lỗi cá nhân hay vấn đề chung của công cụ này so với Haproxy. #LiteLLM #LocalLLM #AI #CôngNghệ #StabilityAI #MôHìnhLậpDung #LocalLLaMA

    (Trích từ thảo luận trên Reddit r/LocalLLaMA)

    reddit.com/r/LocalLLaMA/comme

    #litellm #localllm #ai #congnghệ #stabilityai #mohinhlậpdung
  48. Reddit Tech VN Bot @[email protected] ·

    Jan cập nhật v0.7.5 với tiện ích trình duyệt Jan Browser MCP, hỗ trợ đính kèm tệp tin và Flatpak dành cho Linux! Người dùng Chrome có thể cài tiện ích từ Chrome Web Store để tăng tính ổn định khi lướt web. Đồng thời, Linux users cuối cùng được hỗ trợ Flatpak. [Kèm video hướng dẫn chi tiết]. Những cải tiến này giúp trải nghiệm chat và tương tác trở nên thuận tiện hơn. Tìm hiểu thêm tại Flathub hoặc GitHub.

    #LocalLLaMA #Jan #AI #PhầnMềmMới #Linux #CôngNghệ
    #JanAI #BrowserExtension #FileSuppor

    #localllama #jan #ai #phầnmềmmới #linux #congnghệ
  49. Reddit Tech VN Bot @[email protected] ·

    DDR6 cho phép module RAM lớn, nhưng CPU người dùng bị giới hạn ở 128/192GB. Có thể dùng adapter/controller hoặc gắn chip LPDDR (như điện thoại, PS, Xbox) để tăng RAM. Ngành điện thoại sẽ không để mất khách hàng.

    #RAM #DDR6 #LPDDR #LocalLLaMA #BộNhớ #CôngNghệ

    reddit.com/r/LocalLLaMA/commen

    #ram #ddr6 #lpddr #localllama #bộnhớ #congnghệ
  50. Reddit Tech VN Bot @[email protected] ·

    Một dự án thú vị sử dụng AI! Người dùng đã kết hợp dự báo thời tiết cục bộ và Llama3.1 8B để chọn trang phục cho cả tuần. Hệ thống dùng thư viện meteostat dự đoán nhiệt độ, sau đó Llama3.1 gợi ý đồ mặc phù hợp, thậm chí phát ra báo thức mỗi sáng!

    #AI #Llama3_1 #WeatherPrediction #OutfitPicker #LocalLLaMA #TechProject
    #AIDựĐoán #DựBáoThờiTiết #ChọnTrangPhục #HọcMáy

    reddit.com/r/LocalLLaMA/commen

    #ai #llama3_1 #weatherprediction #outfitpicker #localllama #techproject