home.social

#gguf — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gguf, aggregated by home.social.

  1. RT @bnjmn_marie: Gemma 4 12B ist schwer zu quantisieren. Ich konnte kein GGUF unter 6,4 GB finden, das gut funktioniert. MoQ 4.25 ist immer noch ziemlich gut und spart im Vergleich zu UD Q4KXL 0,9 GB. Unterhalb dieses Wertes würde ich keines der anderen GGUFs empfehlen, die ich bewertet habe.

    mehr auf Arint.info

    #Gemma4 #GGUF #LLM #MoQ #Quantisierung #UDQ4_K_XL #arint_info

    https://x.com/bnjmn_marie/status/2064097932459069716#m