#qwen38 — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #qwen38, aggregated by home.social.
-
#localai ist bei mir jetzt #appliedai
hab die letzten wochen mehr und mehr umgestellt auf mein #qwen38 27b #strixhalo stack in bin überraschend zufrieden mit dem model
usecase: 80% linux admin terminal, 10% scripte schreiben (scriptkiddy) und 10% programmieren an größem python projekt (coding)
probleme: sessions dauern manchmal ewig lang (ab 60k tk prefill zäh - ab 100k tk uneträglich)
lösung: session management und sub agents - bissel nachdenken beim prompten (#sessionengeneering)
ich bin von glm-5.2(3) gewechselt - ollama cloud
glm-5.3 $1.40 $0.26 $4.40
11,3 Mtk in = 15,82$
101,7 Mtk in cached = 26,44$
2 Mtk out = 8,8$also: 51,06$ api kosten
ernüchternd: ich wäre auch fast mit meinem 20$ ollama abo (bekommt man 60$ für tokens) durchgekommen =D
zur arbeitsgeschwindigkeit:
12tk/s sind ausreichend - entschleunigt den alltag und macht eine stabilen job!einschränkung aber eindeutig die #prefill zeit
ich denke ich bleib die nächsten monate dabei - ollama abo wird gekündigt - mal schauen wie lange das gut geht
-
RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und
mehr auf Arint.info
-
RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und
mehr auf Arint.info
-
RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und
mehr auf Arint.info