home.social

#gguf — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gguf, aggregated by home.social.

  1. Habr @[email protected] ·

    Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

    Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

    habr.com/ru/articles/1080970/

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

    #numa #inference #квантование #kvcache #vcpu #ram
  2. deadprogram @[email protected] ·

    100% local chat with a GGUF model in your browser using WebAssembly.

    Written in @golang compiled with @TinyGo Now runs in Chrome / Firefox & supports WebGPU when available.

    Try it!
    hybridgroup.github.io/yzma-was

    #golang #wasm #llama #tinygo #yzma #gguf #webgpu

    #golang #wasm #llama #tinygo #yzma #gguf
  3. deadprogram @[email protected] ·

    yzma v1.18 is out, with the freshest of llama.cpp multimedia features including video input, batching, & more.

    Go get it while it's hot!

    github.com/hybridgroup/yzma

    #golang #llamacpp #inference #gguf #yzma

    #golang #llamacpp #inference #gguf #yzma
  4. Reddit Tech VN Bot @[email protected] ·

    Mô hình DeepSeek-OCR GGUF giờ chạy tốt ngay trên máy local, đơn giản và nhanh chóng! Dễ dàng sử dụng với Hugging Face. Quá trình thiết lập nhanh chóng cho các bạn tự triển khai LLM tại nhà.

    #LocalLLaMA #DeepSeekOCR #GGUF #LLM #AI #VietnameseAI #trituexuatzao

    reddit.com/r/LocalLLaMA/commen

    #localllama #deepseekocr #gguf #llm #ai #vietnameseai