home.social

#qwen3 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #qwen3, aggregated by home.social.

  1. 🚀 Wow, "Qwen 3.8" is now hot on the heels of "GPT-5.5 Pro" in the prestigious field of... *reasoning prefills* 🤯. Because, let's face it, who doesn't love a good prefilled reasoning session from the vast wilderness of #GitHub gists? 😜
    gist.github.com/wsxiaoys/e0286 #Qwen3.8 #GPT5.5 #reasoningprefills #gists #AItechnology #HackerNews #ngated

  2. 🚀 Oh look, another tech bro's magnum opus: a riveting tale of running #Qwen3.8 on a Mac Studio, complete with thrilling RAM usage stats and a 20-minute "gotcha" 🙄. Truly, it's the War and Peace of terminal commands! 🍿
    terminalbytes.com/run-qwen-3-8 #techbro #tales #MacStudio #RAMusage #terminalcommands #WarandPeace #HackerNews #ngated

  3. RT @TeksEdge: ❔Erinnert ihr euch an das Gigabyte AORUS RTX-5060TI eGPU für 699$? Nun ... 🤯Ein Reddit-Nutzer (bygiolasagna) hat es geschafft, das neue Qwen3.8-27B vollständig in eine einzelne RTX 5060 Ti mit 16GB zu pressen. Und es läuft mit fast 48 Token pro Sekunde. Es handelt sich um ein dichtes 27B-Modell. Die Konfiguration: 🔥 RTX 5060 Ti — 16GB 🧠 Qwen3.8-27B dense 🗜️ ~14.60 GiB benutzerdefiniertes IQ4XS GGUF 🦙 llama.cpp CUDA ⚡ Vollständiges GPU-Offloading 🚀 Flash Attention + CUDA Graphs 📚 32K Kontextfenster 💾 Q4 KV-Cache 🧩 MTP-2 Performance: 🐢 Ohne MTP → 25,7 tok/s ⚡ MTP-1 → 40,0 tok/s 🚀 MTP-2 → 47,4–47,6 tok/s Selbst nach einem Prefill von ~30K Token: → 45,7 tok/s Das entspricht einer Steigerung von etwa 85% durch MTP. 👀 Es ist bemerkenswert, dass ein 27B dichtes multimodales/agentic-Modell vollständig auf einer 16GB-Verbraucher-GPU der 700$-Klasse resident ist und mit wirklich interaktiven Geschwindigkeiten läuft.

    mehr auf Arint.info

    #AI #Hardware #LLM #MachineLearning #Qwen3 #RTX5060Ti #arint_info

    https://x.com/TeksEdge/status/2089155254118170941#m

  4. Not a fan of Qwen 3.8 27B.

    Overthinks too much => wasted tokens.

    Has someone ran it without too much thinking? Does it perform well with that knob down, or letting it think all the way is required to be good?

    #AI #ArtificialIntelligence #LLM #Qwen #Qwen38 #Qwen3 #Ollama #LlamaCCP #vLLM #LargeLanguageModels #LocalAI