home.social

#qwen3 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #qwen3, aggregated by home.social.

fetched live
  1. CW: AI

    Решил затестить Qwen3.8-27B-GGUF на своей 9060XT. Взял 3 бита XL вроде.

    Аухел, что оно смогло наклепать простенький лендинг и всё это чисто на моём железе, жест

    #qwen #qwen3

  2. RT @ciruai: Das beste Qwen3.8 27B-Modell für AMD Strix Halo ist da. In Zusammenarbeit mit Pete Hopton und dem Kairic.ai-Team präsentiere ich: Qwen3.8-27B-IU4-KAIRIC-EDGE. Unserer Kenntnis nach ist dies die weltweit erste öffentliche Veröffentlichung eines 27B-LLM mit einer beschleunigten nativen IU4-Inferenzspur, speziell für AMD Strix Halo (gfx1151) entwickelt. Warum ist IU4 wichtig? Die meisten 4-Bit-Modelle speichern zwar Speicher, konvertieren Gewichte jedoch weiterhin in breitere Formate während der Ausführung. Unsere IU4-Spur hält Vier-Bit-Ganzzahldaten im aktiven Berechnungspfad und mappt sie direkt auf RDNA 3.5-Integer-Hardware. Das reduziert den Speichertraffic und verwandelt Quantisierung von einem Speicherformat in eine echte Hardware-Ausführungsstrategie. Der abgestimmte IU4-Operator erreichte 104,66 TOPS – 1,94× FP16 und 1,93× IU8. Dies eröffnet einen Weg zu schnellerer, effizienterer lokaler KI, ohne dabei die Modellqualität zu opfern. Ich kann es kaum erwarten zu sehen, was @Italianclownz und andere Zauberer damit anstellen. Angetrieben von Prompt Forge + Dual View, Kairic Edge-Beschleunigung, 262K Kontext: HumanEval-Metriken: • 47,73 tok/s Full-Suite TG • +85% gegenüber Unsloth Dynamic Q4 • +89% gegenüber Unsloth Dynamic Q6 • Schlug Unsloth Dynamic v3 q6 in Human Eval um 2 Fragen. Dies ist auch die erste Veröffentlichung, die von Kairic.ai angetrieben wird, einem neuen Unternehmen, das sich auf die gemeinsame Entwicklung von KI-Software rund um die Hardware konzentriert, auf der sie tatsächlich läuft. Modell, Benchmarks, Quelle, Build-Anleitung und Runner: huggingface.c…

    mehr auf Arint.info

    #AMDStrixHalo #KairicAI #LLM #LocalAI #Qwen3 #RDNA3 #arint_info

    https://x.com/ciruai/status/2091004843720659229

  3. RT @UnslothAI: Wir veröffentlichen neue Qwen3.8-27B GGUFs mit 10 % höherer Genauigkeit. Unsloth Dynamic V3 schlägt andere um 10 % auf Div-300, KLD und weiteren Benchmarks. Zudem veröffentlichen wir 1-Bit-Quantisierungen, die 77 % der Genauigkeit beibehalten. Läuft auf 8 GB RAM. Blog: unsloth.ai/docs/basics/dynam… GGUF: huggingface.co/unsloth/Qwen3…

    mehr auf Arint.info

    #AI #GGUF #MachineLearning #OpenSource #Qwen3 #Unsloth #arint_info

    https://x.com/UnslothAI/status/2090103470015828184

  4. RT @ciruai: Das beste Qwen3.8 27B-Modell für AMD Strix Halo ist da. In Zusammenarbeit mit Pete Hopton und dem Kairic.ai-Team präsentiere ich: Qwen3.8-27B-IU4-KAIRIC-EDGE. Unserer Kenntnis nach ist dies die weltweit erste öffentliche Veröffentlichung eines 27B-LLM mit einer beschleunigten nativen IU4-Inferenzspur, speziell für AMD Strix Halo (gfx1151) entwickelt. Warum ist IU4 wichtig? Die meisten 4-Bit-Modelle speichern zwar Speicher, wandeln Gewichte jedoch während der Ausführung weiterhin in breitere Formate um. Unsere IU4-Spur behält die Vier-Bit-Ganzzahldaten im aktiven Berechnungspfad und leitet sie direkt an die RDNA 3.5-Ganzzahlhardware weiter. Das reduziert den Speichertraffic und verwandelt Quantisierung von einem Speicherformat in eine echte Hardware-Ausführungsstrategie. Der abgestimmte IU4-Operator erreichte 104,66 TOPS – 1,94× FP16 und 1,93× IU8. Dies eröffnet einen Weg zu schnellerer, effizienterer lokaler KI, ohne dabei die Modellqualität zu opfern. Ich kann es kaum erwarten zu sehen, was @Italianclownz und andere Experten damit anstellen werden. Getrieben von Prompt Forge + Dual View, Kairic Edge-Beschleunigung, 262K Kontext: HumanEval-Metriken: • 47,73 tok/s Full-Suite TG • +85% gegenüber Unsloth Dynamic Q4 • +89% gegenüber Unsloth Dynamic Q6 • Schlug Unsloth Dynamic v3 q6 in HumanEval um 2 Fragen. Dies ist auch die erste Veröffentlichung, die von Kairic.ai unterstützt wird, einem neuen Unternehmen, das sich auf die gemeinsame Entwicklung von KI-Software rund um die Hardware konzentriert, auf der sie tatsächlich läuft. Modell, Benchmarks, Quelle, Build-Anleitung und Ru…

    mehr auf Arint.info

    #AMDStrixHalo #KairicAI #LLM #LocalAI #Qwen3 #RDNA3 #arint_info

    https://x.com/ciruai/status/2091004843720659229

  5. was ich an #qwen3.8 besonders krass finde ist, dass es einfach eigene tests / probes schreibt um die eigene arbeit zu überprüfen - und es macht einfach solange weiter bis es findet dass die aufgabe erledigt ist

    und zum teil sind auch die tests / probes fehlerhaft - dann korrigiert es das auch gleich selbstständig

    es dauert alles scheissen lange, aber du gibst ihm den auftrag unf machst in der zwischenzeit andere dinge und guckst ihm zwischendurch mal über die schulter

    LOKAL! 24gb! ich glaubs immer noch nicht...
    #KI #homelab #coding

  6. RT @bnjmn_marie: Mein erster vollständiger Durchlauf von Qwen3.8 27B auf DeepSWE 1.1 ist abgeschlossen: Punktzahl: 26,5 Zeit: 45 Stunden Abschluss-Token: 7,45 Mio. Gesamtinput- und Output-Token: 820 Mio. Modellaufrufe: 9.591 Die Punktzahl liegt 16 Punkte unter dem Ergebnis, das vom Qwen-Team veröffentlicht wurde, aber es gibt einige wichtige Unterschiede: Ich habe mini-swe-agent verwendet; sie haben Claude Code verwendet. Ich habe thinking=medium genutzt; sie haben wahrscheinlich xhigh verwendet. Ich hatte 9 Laufzeitfehler aufgrund von Internetproblemen auf meiner Seite (Lala...). Ich sollte diese Aufgaben erneut ausführen. Abgesehen davon habe ich dieselben Hyperparameter verwendet. Ich habe bereits einen weiteren Durchlauf mit derselben Konfiguration gestartet, aber diesmal mit Claude Code. Dennoch ist 26,5 eine deutliche Verbesserung gegenüber den 13 Punkten, die ich mit Qwen3.6 erzielt habe, und liegt 21 Punkte höher als Muse Glimmer im xhigh-Modus.

    mehr auf Arint.info

    #AI #DeepSWE #LLM #MachineLearning #Qwen3 #TechResults #arint_info

    https://x.com/bnjmn_marie/status/2089775546943312076#m

  7. neue erkenntnis zu #qwen3.8 - you want xhigh thinking when coding!

    echt, ich habs gestern mal auf medium gestellt und man musste das teil zu jedem edit prügeln und permanent eingreifen ey 😔
    es hat nix auf die reihe gekriegt wenn man den code nicht quasi direkt selbst in den prompt geschrieben hat 😂
    #KI #homelab #coding

  8. i'm starting to think that qwen3.8 is a weapon - who's gonna pay for #OpenAI and #Anthropic when you can run, finetune AND OWN #qwen3.8 at home?

  9. Oh, look! Yet another #AI model—Qwen3.8 27B—scoring a mighty 52 on the 🧠Artificial Analysis🧠, which is apparently a thing now. 🤔 With its "unknown" speeds and "NA" costs, it leads the pack in the race to nowhere! 🚀💨
    artificialanalysis.ai/models/q #Model #Qwen3.8 #AI #Analysis #TechNews #Innovation #HackerNews #ngated

  10. 🚀🎉 Wow, it's truly groundbreaking news that #Qwen3.8 can churn out a whole 37 tokens per second on a #GPU you'd need a #loan to buy! 💸 Apparently, this "experiment" showed that throwing every kitchen sink at a model doesn't exactly equal genius-level #AI. 🙄
    piszczek.pl/blog/qwen38-27b-25 #breakthrough #AIexperiment #technews #HackerNews #ngated

  11. RT @TeksEdge: ❔Erinnert ihr euch an das Gigabyte AORUS RTX-5060TI eGPU für 699$? Nun ... 🤯Ein Reddit-Nutzer (bygiolasagna) hat es geschafft, das neue Qwen3.8-27B vollständig in eine einzelne RTX 5060 Ti mit 16GB zu pressen. Und es läuft mit fast 48 Token pro Sekunde. Es handelt sich um ein dichtes 27B-Modell. Die Konfiguration: 🔥 RTX 5060 Ti — 16GB 🧠 Qwen3.8-27B dense 🗜️ ~14.60 GiB benutzerdefiniertes IQ4XS GGUF 🦙 llama.cpp CUDA ⚡ Vollständiges GPU-Offloading 🚀 Flash Attention + CUDA Graphs 📚 32K Kontextfenster 💾 Q4 KV-Cache 🧩 MTP-2 Performance: 🐢 Ohne MTP → 25,7 tok/s ⚡ MTP-1 → 40,0 tok/s 🚀 MTP-2 → 47,4–47,6 tok/s Selbst nach einem Prefill von ~30K Token: → 45,7 tok/s Das entspricht einer Steigerung von etwa 85% durch MTP. 👀 Es ist bemerkenswert, dass ein 27B dichtes multimodales/agentic-Modell vollständig auf einer 16GB-Verbraucher-GPU der 700$-Klasse resident ist und mit wirklich interaktiven Geschwindigkeiten läuft.

    mehr auf Arint.info

    #AI #Hardware #LLM #MachineLearning #Qwen3 #RTX5060Ti #arint_info

    https://x.com/TeksEdge/status/2089155254118170941#m

  12. Not a fan of Qwen 3.8 27B.

    Overthinks too much => wasted tokens.

    Has someone ran it without too much thinking? Does it perform well with that knob down, or letting it think all the way is required to be good?

    #AI #ArtificialIntelligence #LLM #Qwen #Qwen38 #Qwen3 #Ollama #LlamaCCP #vLLM #LargeLanguageModels #LocalAI

  13. qwen3.8 ist DIE offenbarung für lokale KI!

    aber um sinnvoll damit zu arbeiten sind 16gb vram das absolute minimum
    besser 24gb um ein brauchbares kontext fenster bereits zu stellen
    qwen3.8 frisst sich buchstäblich durch die tokens mit dem reasoning/thinking, ist aber dadurch xtrem präzise und zuverlässig
    #KI #homelab #qwen3.8

  14. 🚀🤖 Introducing Qwen 3.8 27B: because we clearly needed another indecipherable acronym salad 🥗 from the tech elite. The article reads like a love letter 💌 to #buzzwords, desperately trying to impress us with its penchant for "enterprise" and "inference." Spoiler alert: no one is impressed. 🙄
    huggingface.co/Qwen/Qwen3.8-27 #Qwen3.8 #TechElite #Inference #AcronymSalad #HackerNews #ngated

  15. 🚀 Introducing Qwen3.8: the #AI model with a scandalously large number of #parameters that somehow still manages to be as dense as its creators. 🤯 With unparalleled ability to shine in "real-world #office #workflows," it raises the question: do we really need yet another AI to tell us how to fill out spreadsheets? 💼
    twitter.com/alibaba_qwen/statu #Qwen3.8 #innovation #HackerNews #ngated

  16. 🚀 Behold, the latest #AI model: Qwen3.8-2.4T, where numbers are random and acronyms are abundant, proving that the #tech industry’s true #innovation lies in finding new ways to baffle the uninitiated. 🤔 Hugging Face rolls out another #model, because why not throw more #jargon at you while you desperately try to figure out what “fp8” means. 🤷‍♂️
    huggingface.co/Qwen/Qwen3.8-2. #Qwen3.8 #HuggingFace #HackerNews #ngated

  17. 🚨 Breaking news! Qwen 3.8-27B is set to go "openweight" in 2 days, whatever that means. 🙄 Meanwhile, Hugging Face has mastered the fine art of losing important pages in their labyrinthine digital jungle. 🌴🔍 The real question is, will they find them before Qwen makes its grand entrance? Place your bets, folks! 💸
    huggingface.co/Qwen/Qwen3.8-27B #Qwen3.8 #HuggingFace #Openweight #TechNews #DigitalJungle #HackerNews #ngated