home.social

#qwen3 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #qwen3, aggregated by home.social.

  1. RT @imnotchalk: Qwen3.8 27B ist jetzt im @cerebras Shared Tier verfügbar mit einer Geschwindigkeit von ~1500 Token pro Sekunde. 🚀

    mehr auf Arint.info

    #AI #Cerebras #LLM #MachineLearning #Qwen3 #TechNews #arint_info

    https://x.com/imnotchalk/status/2095637567979114654

  2. RT @imnotchalk: Qwen3.8 27B ist jetzt im @cerebras Shared Tier verfügbar mit einer Geschwindigkeit von ~1500 Token pro Sekunde. 🚀

    mehr auf Arint.info

    #AI #Cerebras #LLM #MachineLearning #Qwen3 #TechNews #arint_info

    https://x.com/imnotchalk/status/2095637567979114654

  3. RT @imnotchalk: Qwen3.8 27B ist jetzt im @cerebras Shared Tier verfügbar mit einer Geschwindigkeit von ~1500 Token pro Sekunde. 🚀

    mehr auf Arint.info

    #AI #Cerebras #LLM #MachineLearning #Qwen3 #TechNews #arint_info

    https://x.com/imnotchalk/status/2095637567979114654

  4. RT @imnotchalk: Qwen3.8 27B ist jetzt im @cerebras Shared Tier verfügbar mit einer Geschwindigkeit von ~1500 Token pro Sekunde. 🚀

    mehr auf Arint.info

    #AI #Cerebras #LLM #MachineLearning #Qwen3 #TechNews #arint_info

    https://x.com/imnotchalk/status/2095637567979114654

  5. RT @imnotchalk: Qwen3.8 27B ist jetzt im @cerebras Shared Tier verfügbar mit einer Geschwindigkeit von ~1500 Token pro Sekunde. 🚀

    mehr auf Arint.info

    #AI #Cerebras #LLM #MachineLearning #Qwen3 #TechNews #arint_info

    https://x.com/imnotchalk/status/2095637567979114654

  6. RT @UnslothAI: Wir veröffentlichen neue Qwen3.8-27B GGUFs mit 10 % höherer Genauigkeit. Unsloth Dynamic V3 schlägt andere um 10 % auf Div-300, KLD und weiteren Benchmarks. Zudem veröffentlichen wir 1-Bit-Quantisierungen, die 77 % der Genauigkeit beibehalten. Läuft auf 8 GB RAM. Blog: unsloth.ai/docs/basics/dynam… GGUF: huggingface.co/unsloth/Qwen3…

    mehr auf Arint.info

    #AI #GGUF #MachineLearning #OpenSource #Qwen3 #Unsloth #arint_info

    https://x.com/UnslothAI/status/2090103470015828184

  7. RT @TeksEdge: ❔Erinnert ihr euch an das Gigabyte AORUS RTX-5060TI eGPU für 699$? Nun ... 🤯Ein Reddit-Nutzer (bygiolasagna) hat es geschafft, das neue Qwen3.8-27B vollständig in eine einzelne RTX 5060 Ti mit 16GB zu pressen. Und es läuft mit fast 48 Token pro Sekunde. Es handelt sich um ein dichtes 27B-Modell. Die Konfiguration: 🔥 RTX 5060 Ti — 16GB 🧠 Qwen3.8-27B dense 🗜️ ~14.60 GiB benutzerdefiniertes IQ4XS GGUF 🦙 llama.cpp CUDA ⚡ Vollständiges GPU-Offloading 🚀 Flash Attention + CUDA Graphs 📚 32K Kontextfenster 💾 Q4 KV-Cache 🧩 MTP-2 Performance: 🐢 Ohne MTP → 25,7 tok/s ⚡ MTP-1 → 40,0 tok/s 🚀 MTP-2 → 47,4–47,6 tok/s Selbst nach einem Prefill von ~30K Token: → 45,7 tok/s Das entspricht einer Steigerung von etwa 85% durch MTP. 👀 Es ist bemerkenswert, dass ein 27B dichtes multimodales/agentic-Modell vollständig auf einer 16GB-Verbraucher-GPU der 700$-Klasse resident ist und mit wirklich interaktiven Geschwindigkeiten läuft.

    mehr auf Arint.info

    #AI #Hardware #LLM #MachineLearning #Qwen3 #RTX5060Ti #arint_info

    https://x.com/TeksEdge/status/2089155254118170941#m

  8. Krátce jsem zkoušel lokální #LLM modely na mém #frameworklaptop13 a docela zajímavě vypadá "přemýšlivý" qwen3.6:35b-a3b-q4_K_M, který na AMD Ryzen 5 AI 340 + 32GB RAM běží použitelně.

    Tento model má redukovaný počet aktivních parametrů pro zpracování jednoho tokenu. Na první pohled, tak méně zatěžuje CPU/GPU a celý notebook méně hučí a topí. Podobně funguje i starší qwen3-coder:30b-a3b-q4_K_M, který "nepřemýšlí" takže odpověď dorazí rychleji.

    Každopádně na tomto HW tyto modely generují výstup řádově v nižších desítkách (možná spíš jednotky) tokenů za sekundu. Měřeno pohledem oka. Použitelné to je, ale kdo to s lokálním LLM myslí opravdu vážně, brzy sáhne po něčem výkonnějším.

    #ollama #qwen3 #ryzen #localllm

  9. AI Coding Gets Smarter!

    @alibaba Group developed the code version of Qwen3 LLM—Qwen3-Coder—its most advanced agentic AI coding model to date.

    #Alibaba #Qwen3 #AICoding #LLM #TechNews #ArtificialIntelligence #FutureOfCoding #DeveloperTools