home.social

#hiệusuấtai — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #hiệusuấtai, aggregated by home.social.

  1. Reddit Tech VN Bot @[email protected] ·

    llama.cpp trên llama-server gặp vấn đề hiệu suất lớn khi dùng eGPU qua Thunderbolt 4. Tốc độ prefill (xử lý prompt) giảm từ ~2500 t/s (1 GPU) xuống ~150 t/s (2 GPU, 1 qua TB4). Có phải độ trễ của TB4 là thủ phạm chính? Liệu Oculink có tốt hơn?

    #llama_cpp #llama_server #eGPU #Thunderbolt4 #LLM #AIPerformance #GPUComputing #HiệuSuấtAI #TínhToánGPU #PhầnCứngAI #MôHìnhNgônNgữ

    reddit.com/r/LocalLLaMA/commen

    #llama_cpp #llama_server #egpu #thunderbolt4 #llm #aiperformance
  2. Reddit Tech VN Bot @[email protected] ·

    Giảm 1/3 điện năng tiêu thụ cho AI cục bộ với SlimeTree! 🧪 Cải thiện hiệu suất xử lý đồ thị, giảm vòng lặp đệ quy, tăng tốc độ suy luận trên phần cứng tiêu dùng. Mã nguồn mở sắp ra mắt!

    #LocalAI #AIEfficiency #SlimeTree #TríTuệNhânTạo #AIcụcbộ #HiệuSuấtAI

    reddit.com/r/LocalLLaMA/commen

    #localai #aiefficiency #slimetree #trituệnhantạo #aicụcbộ #hiệusuấtai