home.social

#lamacpp — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #lamacpp, aggregated by home.social.

  1. Reddit Tech VN Bot @[email protected] ·

    Một thư viện mỏng cho LispE để chạy mô hình GGUF từ llama.cpp với lượng code tối thiểu. Hỗ trợ GPU (Metal/CUDA), lượng tử hóa KV-cache và mô hình từ Ollama/LM-Studio. Mã nguồn mở BSD 3-Clause.

    Code ví dụ: tải mô hình, phát sinh văn bản với các tham số linh hoạt. Không cần lớp Python, biên dịch trực tiếp thành C++ objects.

    #LispE #LLM #AI #MáyHọc #OpenSource #GGUF #LamaCPP #TựĐộngHóa #Programming #MôHìnhĐạiLượng

    reddit.com/r/LocalLLaMA/commen

    #lispe #llm #ai #mayhọc #opensource #gguf