#rocmfpx — Public Fediverse posts on home.social

RT @Italianclownz: 🚨 Ein großes ROCmFPX-Update ist gerade erschienen. Wenn du llama.cpp auf AMD einsetzt, ist dies ein massives Performance-Release. ⚡ ROCmFP4-Quantisierung: ~31 % schneller ⚡ ROCmFP4-CPU-Dot-Produkte: 3–4× schneller ⚡ FP3 / FP6 / FP8-Quantisierung: ~9 % schneller ✅ Bit-identische Ausgaben. Hash-verifiziert. Null Qualitätsverlust. 🔥 Neu: Konvertiere NVFP4 → ROCmFP4 mit einem einzigen Befehl. Führe NVIDIA-NVFP4-Modelle effizient auf AMD-GPUs aus und behalte dabei das kompakte 4,5-BPW-/4,25-BPW-Format mit nahezu verlustfreier Qualität bei. 🚀 Native MTP-spezifisches Decoding: • +14–36 % schnellere Token-Generierung • Verlustfrei bei greedy decoding • Ein wichtiger Schritt zur Überwindung des Speicherbandbreiten-Engpasses. Außerdem enthalten: ✅ Flash-Attention-Verbesserungen ✅ NaN-sichere Operationen ✅ Bessere Quantisierungsvoreinstellungen ✅ Neue Quick-Start-Anleitung & Formatdokumentation ⭐ Starre das Repository, probiere es aus und lass mich wissen, welche Modelle du benchmarkst. 👇 https://github.com/charlie12345/ROCmFPX/tree/experimental-rocmfpx-branch Wird schließlich in den Main-Branch gemerged.