#tonoken3 — Public Fediverse posts on home.social

RT @Tono_Ken3: Und bei StrixHalo's DearfStar4 läuft DeepSeek-V4-Flash mit 16 TPS. Da der Prefill den KV-Cache auf einer Optane-SSD speichert, ist die Geschwindigkeit wirklich beeindruckend. Es könnte auch gut sein, diesen Hermes als Sub-Agent von Qwen3.6's Lnagent aufzurufen. Das lokale Agenten-System besteht aus diesen drei Modellen: Qwen3.6-35b-a3b-nvfp4, DeepSeek-V4Flash-IQ2 und GLM-5.2-UQ4. Es ist übersichtlich. TonoKen3🤖Local-LLM&Robot🏁とのけん3 (@TonoKen3) Ja genau. Die Möglichkeit, GLM-5.2 lokal einzusetzen, schafft ein Gefühl von innerem Frieden. Für 90% der Fälle reicht die schnelle Antwort von Qwen3.6-35b. 130 TPS bieten eine komfortable Reaktionsgeschwindigkeit, die sogar die Nutzung geschlossener Modelle übertrifft. Bei der Inferenz verbraucht das System 550W, im Standby nur 200W. Das ist genau das, wonach man sucht. — https://nitter.net/TonoKen3/status/2073892875117691049#m