home.social

#gsm8k — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gsm8k, aggregated by home.social.

  1. 🧪 LLM Benchmark Showdown: 5 lokale Ollama-Modelle im Vergleich

    Getestet auf derselben Hardware (#gmktecevo2 #AMDRyzenAIMaxPlus395 #strixhalo):
    #GSM8K (100 Samples) — Math
    #BFCL (100/Kategorie) — Function Calling
    #MBPP+ (50) — Python Coding
    #HumanEval+ (20) — Python Coding

    📊 Ergebnisse (Accuracy / Output TK/s / VRAM):

    **qwen3.8:27b**
    GSM8K 82% | BFCL 91.5% | MBPP+ 100% | HE+ 100%
    ⚡ 25.5 TK/s | 💾 18 GB VRAM

    **qwen3.6:27b**
    GSM8K 83% | BFCL 93% | MBPP+ 98% | HE+ 75%
    ⚡ 12.7 TK/s | 💾 33 GB VRAM

    **qwen3.6:35b**
    GSM8K 84% | BFCL 90% | MBPP+ 98% | HE+ 55%
    ⚡ 61.8 TK/s | 💾 27 GB VRAM

    **ornith-1.5:35b**
    GSM8K 75% | BFCL 92.5% | MBPP+ 78% | HE+ 0%
    ⚡ 63.6 TK/s | 💾 26 GB VRAM

    **nemotron-3.5-lightning:30b**
    GSM8K 59% | BFCL 74% | MBPP+ 94% | HE+ 0%
    ⚡ 91.9 TK/s | 💾 26 GB VRAM

    🏆 Fazit:

    qwen3.8:27b ist der klare Sieger — als einziges Modell 100% bei beiden Coding-Benchmarks, bei GSM8K/BFCL gleichauf mit den anderen Qwen-Modellen. Bei 25.5 TK/s und nur 18 GB VRAM das beste Qualität/Speed/Effizienz-Verhältnis.

    qwen3.6:27b ist qualitativ nah dran (BFCL sogar 93%), aber mit 12.7 TK/s unerträglich langsam und frisst 33 GB VRAM — fast 2× so viel wie qwen3.8 bei halber Speed.

    qwen3.6:35b ist mit 61.8 TK/s 2.4× schneller als qwen3.8, aber HE+ nur 55% (vs 100%). Trading Code-Qualität für Speed.

    ornith-1.5:35b und nemotron-3.5-lightning:30b fallen bei Coding komplett durch (HE+ 0%), sind aber die schnellsten Modelle im Feld (64 / 92 TK/s).

    💡 TK/s = generierte Tokens/Sekunde (Warm-Run, ollama --verbose).
    💾 VRAM = GPU-Speicher bei max context (262K bzw. 1M bei nemotron).

    #LLM #Benchmark #Ollama #LocalAI #Qwen #OpenSource