RamaLama là công cụ CLI giúp chạy và xây dựng các mô hình LLM qua container. Bước sœur hỗ trợ MLX kèm llama.cpp, vLLM. Tương thích nhiều thiết bị: GPU Apple Silicon, Nvidia, AMD, Intel, mới hỗ trợ NPU Ascend. Mời cộng đồng thử nghiệm với cấu hình đặc biệt. GitHub: containers/ramalama. Hình thành diễn đàn dev Lukas trong weeks sau. #RamaLama #MLX #LLM #AI #Tech #GitHub #مطور #Container
https://www.reddit.com/r/LocalLLaMA/comments/1odilom/ramalama_running_llms_as_containers_adding_mlx/