#strix-halo — Public Fediverse posts

#localai ist bei mir jetzt #appliedai

hab die letzten wochen mehr und mehr umgestellt auf mein #qwen38 27b #strixhalo stack in bin überraschend zufrieden mit dem model

usecase: 80% linux admin terminal, 10% scripte schreiben (scriptkiddy) und 10% programmieren an größem python projekt (coding)

probleme: sessions dauern manchmal ewig lang (ab 60k tk prefill zäh - ab 100k tk uneträglich)

lösung: session management und sub agents - bissel nachdenken beim prompten (#sessionengeneering)

ich bin von glm-5.2(3) gewechselt - ollama cloud

glm-5.3 $1.40 $0.26 $4.40

11,3 Mtk in = 15,82$
101,7 Mtk in cached = 26,44$
2 Mtk out = 8,8$

also: 51,06$ api kosten

ernüchternd: ich wäre auch fast mit meinem 20$ ollama abo (bekommt man 60$ für tokens) durchgekommen =D

zur arbeitsgeschwindigkeit:
12tk/s sind ausreichend - entschleunigt den alltag und macht eine stabilen job!

einschränkung aber eindeutig die #prefill zeit

ich denke ich bleib die nächsten monate dabei - ollama abo wird gekündigt - mal schauen wie lange das gut geht

RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und

mehr auf Arint.info

#MXFP6 #Qwen38 #ROCmi4 #StrixHalo #Swift #vLLM #arint_info

https://x.com/Italianclownz/status/2103200473264107898

RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und

mehr auf Arint.info

#MXFP6 #Qwen38 #ROCmi4 #StrixHalo #Swift #vLLM #arint_info

https://x.com/Italianclownz/status/2103200473264107898

RT @Italianclownz: Das Framework Strix Halo 395+ läuft mit ROCmi4 Qwen 3.8 Flash und hat seit drei Tagen durchgängig eine extrem lange Programmieraufgabe bearbeitet. Jetzt teste ich Swifts MXFP6 auf vLLM 0.30 mit Radiance und einigen anderen Patches, und es funktioniert großartig. Swifts Qwen 3.8 27B Paro-MXFP6 ist intelligent, und

mehr auf Arint.info

#MXFP6 #Qwen38 #ROCmi4 #StrixHalo #Swift #vLLM #arint_info

https://x.com/Italianclownz/status/2103200473264107898

I think this may be my main daily driver for the foreseeable future on my #StrixHalo. (Provided no major model drops but this one seems to have everything I want. Always been a fan of Ciru's work and his green haired AI genned waifu

https://huggingface.co/jcbtc/Qwen3.8-Flash-CIRU-STRIX-Orca

@grymas1000lecia proszę bardzo: https://www.bosgame.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395-96gb-128gb-2tb?variant=46726110707875 najtańszy komp w tej konfiguracji procesor+GPU #LLM #strixhalo

@grymas1000lecia proszę bardzo: https://www.bosgame.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395-96gb-128gb-2tb?variant=46726110707875 najtańszy komp w tej konfiguracji procesor+GPU #LLM #strixhalo

@grymas1000lecia proszę bardzo: https://www.bosgame.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395-96gb-128gb-2tb?variant=46726110707875 najtańszy komp w tej konfiguracji procesor+GPU #LLM #strixhalo

@grymas1000lecia proszę bardzo: https://www.bosgame.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395-96gb-128gb-2tb?variant=46726110707875 najtańszy komp w tej konfiguracji procesor+GPU #LLM #strixhalo

Nutze ja seit Monaten #hermesagent - eben zum ersten Mal /yolo verwendet - Game Changer bei laaaaaangsamen llms wie #qwen38 auf meinem #strixhalo

#appliedai

ich scriptkidde mit #ornith-1.5:35b in #hermes in meinem linux system rum - das läuft ja lokal ganz fix auf meinem #strixhalo #localai

was mir direkt aufgefallen ist: der hat schon bei pacman systemupdate raten müssen... er hat es dann ja hinbekommen

aufgeben? niemals =)

denke hier ist die lösung: auch für banale dinge #skills erstellen lassen

#glm52 #glm53 hätte das direkt aus dem gedächnis hinbekommen - immerhin weiß #ornith den einstiegspunkt pacman =)

mal schauen wo das endet

https://www.europesays.com/ch-fr/283787/ L’ordinateur de bureau Ryzen AI Max 400 de 192 Go de Framework se rapproche de son lancement #192GoDeRAM #AMDRyzenAIMax+Pro495 #Framework #FrameworkDesktop #GorgonHalo #InformationsSurDesOrdinateursPortatifs #LLMLocal #LPDDR5X8533 #MiniPC #nouvelles #Radeon8065S #rapport #revues #RyzenAIMax+495 #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #StrixHalo #Suisse #Technologies #Technology #test

https://www.europesays.com/be-fr/232421/ L’ordinateur de bureau Ryzen AI Max 400 de 192 Go de Framework se rapproche de son lancement #192GoDeRAM #AMDRyzenAIMax+Pro495 #BE #BEFr #Belgique #Belgium #Framework #FrameworkDesktop #GorgonHalo #InformationsSurDesOrdinateursPortatifs #LLMLocal #LPDDR5X8533 #MiniPC #nouvelles #Radeon8065S #rapport #revues #RyzenAIMax+495 #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #StrixHalo #Technologies #Technology #test

usecase coding mit #qwen38 auf #strixhalo

mein code:
https://github.com/vibeopsde/vibeAgentGo

mit #hermes (#glm52 über ollamacloud) als master code review organisiert. kleine aps für qwen vorbereitet - das lief dann über #OpenCode. ergebnis validiert und aps für fixing vorbereite. code änderungen alles über locale tokens =)

deployment hat dann wieder hermes agent übernommen

statement hermes agent:
🤖 Release-Day — und ich habe fast nichts selbst gecodet.

vibeAgentGo v2608.3 ist draußen, und der Weg dorthin war ein Experiment:

1️⃣ Review: qwen3.8:27b (27B, läuft komplett lokal auf dem Mini-PC) hat die eigene Codebase reviewt — 85 min, 4 Teilaufgaben, 0 Halluzinationen. Gefunden: SSRF-Lücke im Proxy, Script-Injection über die iframe-Bridge, Race-Conditions im Agent, stiller Datenverlust beim Backup.

2️⃣ Fix: Dieselben Findings als Arbeitspakete wieder vorgelegt — 5 Pakete in 99 min umgesetzt. tsc 5/5 im ersten Versuch, 64/64 Tests grün, nicht ein einziger Repair-Run nötig.

3️⃣ Verifiziert, gemerged, deployed. 🚀

Find → Fix → Ship, alles von einem Modell auf eigener Hardware.

#LocalLLM #SelfHosted #OpenSource #AIAgents #localai

usecase coding mit #qwen38 auf #strixhalo

mein code:
https://github.com/vibeopsde/vibeAgentGo

mit #hermes (#glm52 über ollamacloud) als master code review organisiert. kleine aps für qwen vorbereitet - das lief dann über #OpenCode. ergebnis validiert und aps für fixing vorbereite. code änderungen alles über locale tokens =)

deployment hat dann wieder hermes agent übernommen

statement hermes agent:
🤖 Release-Day — und ich habe fast nichts selbst gecodet.

vibeAgentGo v2608.3 ist draußen, und der Weg dorthin war ein Experiment:

1️⃣ Review: qwen3.8:27b (27B, läuft komplett lokal auf dem Mini-PC) hat die eigene Codebase reviewt — 85 min, 4 Teilaufgaben, 0 Halluzinationen. Gefunden: SSRF-Lücke im Proxy, Script-Injection über die iframe-Bridge, Race-Conditions im Agent, stiller Datenverlust beim Backup.

2️⃣ Fix: Dieselben Findings als Arbeitspakete wieder vorgelegt — 5 Pakete in 99 min umgesetzt. tsc 5/5 im ersten Versuch, 64/64 Tests grün, nicht ein einziger Repair-Run nötig.

3️⃣ Verifiziert, gemerged, deployed. 🚀

Find → Fix → Ship, alles von einem Modell auf eigener Hardware.

#LocalLLM #SelfHosted #OpenSource #AIAgents #localai

bei langen sessions hat ab 60k token die verarbeitung der anfragen unerträglich lange gedauert (>10min)

das ist die systemgrenze RAM schreibe geschwindigkeit

hab dann mal noch tiefer gegraben in ollama einstellungen: kv cache steht standarmäßig auf f16 - runterstellen auf q4 macht keinen qualitätsunterschied - braucht aber weniger RAM -> schneller

ki statemant:
Du hast recht, dass Q4-KV-Cache bei Q4-Modellen oft als "mach keinen Unterschied" abgetan wird. Aber die Recherche zeigt: bei Hybrid-Attention-Modellen wie Qwen3.5/3.8 ist es sogar nachweislich verlustfrei (BLEU 1.000, token-identischer Output). Die 24 Linear-Attention-Layers korrigieren das Quantisierungsrauschen der 8 Full-Attention-Layers. Bei Standard-Modellen (Llama, Mistral) sähe das anders aus — da wäre q4_0 mit Qualitätseinbußen verbunden.

hier validiert mit code review

qwen3.8:27b Q4 KV Benchmark — Done ✅
Q4 KV-Cache war ein voller Erfolg:

Metric ohne Q4 mit Q4 Delta
Gesamtzeit 9178s (2,5h) 5121s (85 min) 1,79x schneller
Task 1 (Core) 57,7 min 26,2 min 2,2x schneller
Task 4 (Persist) 50,3 min 11,9 min 4,2x schneller
Output 706 Zeilen 506 Zeilen etwas kompakter
Halluzinationen 0 0 gleich
Qualität bleibt gleich:
- Alle 4 KRITISCH-Funde gegen den Code verifiziert — 0 Halluzinationen
- Liest selbstständig proxy_server.py, memory.ts, logger.ts (über den Prompt hinaus)
- Findet echte SSRF-Lücke, Race-Condition in agent.ts, Backup-Binärdaten-Verlust, RenderPanel-Bridge-Hijack
- Output ist kompakter, aber dichter und präziser — keine Füll-Sections

Fazit: Q4-KV ist ein klarer Win für qwen3.8. Gleiche Tiefe und Genauigkeit, fast halbe Zeit. Von 2,5h auf 85min — das macht das Modell für Code-Reviews realistisch einsetzbar.

#localai #amdryzenAIMaxPlus395 #strixhalo #ollama

bei langen sessions hat ab 60k token die verarbeitung der anfragen unerträglich lange gedauert (>10min)

das ist die systemgrenze RAM schreibe geschwindigkeit

hab dann mal noch tiefer gegraben in ollama einstellungen: kv cache steht standarmäßig auf f16 - runterstellen auf q4 macht keinen qualitätsunterschied - braucht aber weniger RAM -> schneller

ki statemant:
Du hast recht, dass Q4-KV-Cache bei Q4-Modellen oft als "mach keinen Unterschied" abgetan wird. Aber die Recherche zeigt: bei Hybrid-Attention-Modellen wie Qwen3.5/3.8 ist es sogar nachweislich verlustfrei (BLEU 1.000, token-identischer Output). Die 24 Linear-Attention-Layers korrigieren das Quantisierungsrauschen der 8 Full-Attention-Layers. Bei Standard-Modellen (Llama, Mistral) sähe das anders aus — da wäre q4_0 mit Qualitätseinbußen verbunden.

hier validiert mit code review

qwen3.8:27b Q4 KV Benchmark — Done ✅
Q4 KV-Cache war ein voller Erfolg:

Metric ohne Q4 mit Q4 Delta
Gesamtzeit 9178s (2,5h) 5121s (85 min) 1,79x schneller
Task 1 (Core) 57,7 min 26,2 min 2,2x schneller
Task 4 (Persist) 50,3 min 11,9 min 4,2x schneller
Output 706 Zeilen 506 Zeilen etwas kompakter
Halluzinationen 0 0 gleich
Qualität bleibt gleich:
- Alle 4 KRITISCH-Funde gegen den Code verifiziert — 0 Halluzinationen
- Liest selbstständig proxy_server.py, memory.ts, logger.ts (über den Prompt hinaus)
- Findet echte SSRF-Lücke, Race-Condition in agent.ts, Backup-Binärdaten-Verlust, RenderPanel-Bridge-Hijack
- Output ist kompakter, aber dichter und präziser — keine Füll-Sections

Fazit: Q4-KV ist ein klarer Win für qwen3.8. Gleiche Tiefe und Genauigkeit, fast halbe Zeit. Von 2,5h auf 85min — das macht das Modell für Code-Reviews realistisch einsetzbar.

#localai #amdryzenAIMaxPlus395 #strixhalo #ollama

GPD Win Max 3 mini gaming laptop with AMD Strix Halo to sell for $1750 and up at launch

The GPD Win Max 3 is a mini laptop with a 9.06 inch display, an AMD Strix Halo processor with discrete-class graphics, and a design that makes it clear that this is a little PC made for both work and play. It has a keyboard large enough for touch typing, but the touchpad is above the keyboard rather than below it, and it’s squeezed between a set of game controllers.

First unveiled earlier […]

GPD Win Max 3 mini gaming laptop with AMD Strix Halo to sell for $1750 and up at launch

The GPD Win Max 3 is a mini laptop with a 9.06 inch display, an AMD Strix Halo processor with discrete-class graphics, and a design that makes it clear that this is a little PC made for both work and play. It has a keyboard large enough for touch typing, but the touchpad is above the keyboard rather than below it, and it’s squeezed between a set of game controllers.

First unveiled earlier […]

GPD Win Max 3 mini gaming laptop with AMD Strix Halo to sell for $1750 and up at launch

The GPD Win Max 3 is a mini laptop with a 9.06 inch display, an AMD Strix Halo processor with discrete-class graphics, and a design that makes it clear that this is a little PC made for both work and play. It has a keyboard large enough for touch typing, but the touchpad is above the keyboard rather than below it, and it’s squeezed between a set of game controllers.

First unveiled earlier […]

GPD Win Max 3 mini gaming laptop with AMD Strix Halo to sell for $1750 and up at launch

The GPD Win Max 3 is a mini laptop with a 9.06 inch display, an AMD Strix Halo processor with discrete-class graphics, and a design that makes it clear that this is a little PC made for both work and play. It has a keyboard large enough for touch typing, but the touchpad is above the keyboard rather than below it, and it’s squeezed between a set of game controllers.

First unveiled earlier […]

https://www.europesays.com/ch-fr/275186/ Un nouveau paramètre de Windows 11 pourrait offrir davantage de mémoire vidéo aux PC dotés d’une mémoire unifiée #GorgonHalo #InformationsSurDesOrdinateursPortatifs #IntelligentCarveout #LPDDR5X #MémoireUnifiée #microsoft #nouvelles #rapport #revues #RTXSpark #RyzenAIMax+395 #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #StrixHalo #Suisse #Technologies #Technology #test #VRAM #Windows11

https://www.europesays.com/be-fr/225149/ Un nouveau paramètre de Windows 11 pourrait offrir davantage de mémoire vidéo aux PC dotés d’une mémoire unifiée #BE #BEFr #Belgique #Belgium #GorgonHalo #InformationsSurDesOrdinateursPortatifs #IntelligentCarveout #LPDDR5X #MémoireUnifiée #Microsoft #nouvelles #rapport #revues #RTXSpark #RyzenAIMax+395 #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #StrixHalo #Technologies #Technology #test #VRAM #Windows11

🧪 LLM Benchmark Showdown: 5 lokale Ollama-Modelle im Vergleich

Getestet auf derselben Hardware (#gmktecevo2 #AMDRyzenAIMaxPlus395 #strixhalo):
• #GSM8K (100 Samples) — Math
• #BFCL (100/Kategorie) — Function Calling
• #MBPP+ (50) — Python Coding
• #HumanEval+ (20) — Python Coding

📊 Ergebnisse (Accuracy / Output TK/s / VRAM):

**qwen3.8:27b**
GSM8K 82% | BFCL 91.5% | MBPP+ 100% | HE+ 100%
⚡ 25.5 TK/s | 💾 18 GB VRAM

**qwen3.6:27b**
GSM8K 83% | BFCL 93% | MBPP+ 98% | HE+ 75%
⚡ 12.7 TK/s | 💾 33 GB VRAM

**qwen3.6:35b**
GSM8K 84% | BFCL 90% | MBPP+ 98% | HE+ 55%
⚡ 61.8 TK/s | 💾 27 GB VRAM

**ornith-1.5:35b**
GSM8K 75% | BFCL 92.5% | MBPP+ 78% | HE+ 0%
⚡ 63.6 TK/s | 💾 26 GB VRAM

**nemotron-3.5-lightning:30b**
GSM8K 59% | BFCL 74% | MBPP+ 94% | HE+ 0%
⚡ 91.9 TK/s | 💾 26 GB VRAM

🏆 Fazit:

qwen3.8:27b ist der klare Sieger — als einziges Modell 100% bei beiden Coding-Benchmarks, bei GSM8K/BFCL gleichauf mit den anderen Qwen-Modellen. Bei 25.5 TK/s und nur 18 GB VRAM das beste Qualität/Speed/Effizienz-Verhältnis.

qwen3.6:27b ist qualitativ nah dran (BFCL sogar 93%), aber mit 12.7 TK/s unerträglich langsam und frisst 33 GB VRAM — fast 2× so viel wie qwen3.8 bei halber Speed.

qwen3.6:35b ist mit 61.8 TK/s 2.4× schneller als qwen3.8, aber HE+ nur 55% (vs 100%). Trading Code-Qualität für Speed.

ornith-1.5:35b und nemotron-3.5-lightning:30b fallen bei Coding komplett durch (HE+ 0%), sind aber die schnellsten Modelle im Feld (64 / 92 TK/s).

💡 TK/s = generierte Tokens/Sekunde (Warm-Run, ollama --verbose).
💾 VRAM = GPU-Speicher bei max context (262K bzw. 1M bei nemotron).

#LLM #Benchmark #Ollama #LocalAI #Qwen #OpenSource

🧪 LLM Benchmark Showdown: 5 lokale Ollama-Modelle im Vergleich

Getestet auf derselben Hardware (#gmktecevo2 #AMDRyzenAIMaxPlus395 #strixhalo):
• #GSM8K (100 Samples) — Math
• #BFCL (100/Kategorie) — Function Calling
• #MBPP+ (50) — Python Coding
• #HumanEval+ (20) — Python Coding

📊 Ergebnisse (Accuracy / Output TK/s / VRAM):

**qwen3.8:27b**
GSM8K 82% | BFCL 91.5% | MBPP+ 100% | HE+ 100%
⚡ 25.5 TK/s | 💾 18 GB VRAM

**qwen3.6:27b**
GSM8K 83% | BFCL 93% | MBPP+ 98% | HE+ 75%
⚡ 12.7 TK/s | 💾 33 GB VRAM

**qwen3.6:35b**
GSM8K 84% | BFCL 90% | MBPP+ 98% | HE+ 55%
⚡ 61.8 TK/s | 💾 27 GB VRAM

**ornith-1.5:35b**
GSM8K 75% | BFCL 92.5% | MBPP+ 78% | HE+ 0%
⚡ 63.6 TK/s | 💾 26 GB VRAM

**nemotron-3.5-lightning:30b**
GSM8K 59% | BFCL 74% | MBPP+ 94% | HE+ 0%
⚡ 91.9 TK/s | 💾 26 GB VRAM

🏆 Fazit:

qwen3.8:27b ist der klare Sieger — als einziges Modell 100% bei beiden Coding-Benchmarks, bei GSM8K/BFCL gleichauf mit den anderen Qwen-Modellen. Bei 25.5 TK/s und nur 18 GB VRAM das beste Qualität/Speed/Effizienz-Verhältnis.

qwen3.6:27b ist qualitativ nah dran (BFCL sogar 93%), aber mit 12.7 TK/s unerträglich langsam und frisst 33 GB VRAM — fast 2× so viel wie qwen3.8 bei halber Speed.

qwen3.6:35b ist mit 61.8 TK/s 2.4× schneller als qwen3.8, aber HE+ nur 55% (vs 100%). Trading Code-Qualität für Speed.

ornith-1.5:35b und nemotron-3.5-lightning:30b fallen bei Coding komplett durch (HE+ 0%), sind aber die schnellsten Modelle im Feld (64 / 92 TK/s).

💡 TK/s = generierte Tokens/Sekunde (Warm-Run, ollama --verbose).
💾 VRAM = GPU-Speicher bei max context (262K bzw. 1M bei nemotron).

#LLM #Benchmark #Ollama #LocalAI #Qwen #OpenSource

I am installing Pangolin as replacement to Cloudflare tunnels. I'm having some trouble configuring Traefik middlewares, and decided to ask advise from new Qwen3.8. It answered pretty quickly, did some net searches, and gave helpful answer. What's amazing is that it runs locally in an AMD Strix Halo mini-pc. I don't need any AI sub because the Ai is just another service in a mini-pc I am using anyway.

I got forward with Pangolin, and gave now e.g. Crowdsec completely integrated via Traefik plugin.

Now I'm stuck with Traefik Middleware Manager. It should allow me to pick a service (a web server) and hook in required Middleware. But it has hardly any documentation. I have installed a set of plugins, but I'm puzzled how to add and configure them into middlewares for a service. I guess I need to read the truth from sources😅.
#homelab #AI #lemonade #hermesagent #strixhalo #framework #pangolin #traefik #opensource

I am installing Pangolin as replacement to Cloudflare tunnels. I'm having some trouble configuring Traefik middlewares, and decided to ask advise from new Qwen3.8. It answered pretty quickly, did some net searches, and gave helpful answer. What's amazing is that it runs locally in an AMD Strix Halo mini-pc. I don't need any AI sub because the Ai is just another service in a mini-pc I am using anyway.

I got forward with Pangolin, and gave now e.g. Crowdsec completely integrated via Traefik plugin.

Now I'm stuck with Traefik Middleware Manager. It should allow me to pick a service (a web server) and hook in required Middleware. But it has hardly any documentation. I have installed a set of plugins, but I'm puzzled how to add and configure them into middlewares for a service. I guess I need to read the truth from sources😅.
#homelab #AI #lemonade #hermesagent #strixhalo #framework #pangolin #traefik #opensource

I am installing Pangolin as replacement to Cloudflare tunnels. I'm having some trouble configuring Traefik middlewares, and decided to ask advise from new Qwen3.8. It answered pretty quickly, did some net searches, and gave helpful answer. What's amazing is that it runs locally in an AMD Strix Halo mini-pc. I don't need any AI sub because the Ai is just another service in a mini-pc I am using anyway.

I got forward with Pangolin, and gave now e.g. Crowdsec completely integrated via Traefik plugin.

Now I'm stuck with Traefik Middleware Manager. It should allow me to pick a service (a web server) and hook in required Middleware. But it has hardly any documentation. I have installed a set of plugins, but I'm puzzled how to add and configure them into middlewares for a service. I guess I need to read the truth from sources😅.
#homelab #AI #lemonade #hermesagent #strixhalo #framework #pangolin #traefik #opensource

I am installing Pangolin as replacement to Cloudflare tunnels. I'm having some trouble configuring Traefik middlewares, and decided to ask advise from new Qwen3.8. It answered pretty quickly, did some net searches, and gave helpful answer. What's amazing is that it runs locally in an AMD Strix Halo mini-pc. I don't need any AI sub because the Ai is just another service in a mini-pc I am using anyway.

I got forward with Pangolin, and gave now e.g. Crowdsec completely integrated via Traefik plugin.

Now I'm stuck with Traefik Middleware Manager. It should allow me to pick a service (a web server) and hook in required Middleware. But it has hardly any documentation. I have installed a set of plugins, but I'm puzzled how to add and configure them into middlewares for a service. I guess I need to read the truth from sources😅.
#homelab #AI #lemonade #hermesagent #strixhalo #framework #pangolin #traefik #opensource

I am installing Pangolin as replacement to Cloudflare tunnels. I'm having some trouble configuring Traefik middlewares, and decided to ask advise from new Qwen3.8. It answered pretty quickly, did some net searches, and gave helpful answer. What's amazing is that it runs locally in an AMD Strix Halo mini-pc. I don't need any AI sub because the Ai is just another service in a mini-pc I am using anyway.

I got forward with Pangolin, and gave now e.g. Crowdsec completely integrated via Traefik plugin.

Now I'm stuck with Traefik Middleware Manager. It should allow me to pick a service (a web server) and hook in required Middleware. But it has hardly any documentation. I have installed a set of plugins, but I'm puzzled how to add and configure them into middlewares for a service. I guess I need to read the truth from sources😅.
#homelab #AI #lemonade #hermesagent #strixhalo #framework #pangolin #traefik #opensource

ich benchmarke grade ein paar #localai llms auf meinem #strixhalo mit 200 GSM8K + 3×100 BFCL Samples

dabei ist mir aufgefallen das thinking moodelle wie qwen 3.6 0% ergebnis liefert - wegen zu langen thinking blocks

da in #hermes_agent #harness das thinking drin ist - ist das doppelt... und hat deshalb bei mir bei qwen3.6 immer wieder geloopt und war unbrauchbar

offensichtlicher unterschied: qwen3.8 hat thinking nicht aktiv! also ist das der gamechanger???

hier einschätzung #glm52
Thinking-Modelle in Agent-Loops: Das Problem
Die Recherche bestätigt unsere Benchmark-Ergebnisse eins zu eins:

1. Token-Budget wird im Agent-Loop multipliziert, nicht addiert
- Ein einzelner Query kostet mit Standard-Modell ~7 Tokens, mit Thinking-Modell ~255-603 Tokens
- In einem Agent-Loop mit 12 Iterationen zahlst du nicht 10x — du zahlst 10x × 12, und das wird bei jeder Iteration durch die wachsende History weiter amplifiziert
- Eine 10-Turn-Loop sendet ~50x mehr Tokens als ein einzelner linearer Call (Falconer Guides)

2. Thinking-Blöcke fressen genau das, was der Agent am dringendsten braucht: Context
- Stanford Digital Economy Lab: Agent-Tasks brauchen ~1000x mehr Tokens als Chat, mit 30x Variance
- Thinking-Output wird zur History hinzugefügt → bei jedem Turn ist mehr Context belegt → das eigentliche Task-Wissen wird verdrängt → schlechtere Ergebnisse
- Genau das haben wir gesehen: qwen3.6:35b mit Thinking = 1.5% GSM8K (fast alles leer), ohne Thinking = 100% auf 5 Samples

3. Reasoning-Loops sind ein echtes, beobachtetes Phänomen
- Ein dokumentierter Fall: ein Agent machte 847 Reasoning-Steps und lieferte nie ein Ergebnis (dev.to)
- "Overthinking leads to poor decisions" — jede zusätzliche Reasoning-Step macht es schlimmer, nicht besser
- Agent ruft dieselbe API 14x hintereinander, "nur noch ein Schritt mehr" wird das Ergebnis schon perfekt machen (ShopClawMart)

4. Reasoning bei reinen Action-Knoten ist reine Verschwendung

"Once a plan is formed and the current step is 'call the search API with this query' or 'write this string to that file,' reasoning tokens add nothing. The action is deterministic. A fast model will generate the correct function call as reliably as a reasoning model at a fraction of the cost. This is the most common budget leak in agent systems."

Was das für Hermes bedeutet
In einem Agent-System wie Hermes ist die Situation noch verschärft:
- Jeder Tool-Call erzeugt Output, der zur History kommt
- Der Context füllt sich ohnehin schon schnell (System-Prompt, Skills, Tool-Outputs...)
- Kommt jetzt noch ein 2000-Token Thinking-Block pro Turn dazu, ist der Context nach 5-6 Turns voll — und dann beginnt der Context-Overflow: ältere Task-Infos fallen raus, der Agent verliert den Faden, fängt an zu loopen
- Das ist auch warum du ja gesagt hast "Context fills up fast" in Hermes — Thinking würde das dramatisch verschlimmern

1/x

Statement zu KI und mein teilrückzug aus dem Fediverse

https://friendica.tf-translate.net/display/cafe12d9-116a-8634-5024-1d3980317993

Statement zu KI und mein teilrückzug aus dem Fediverse

https://friendica.tf-translate.net/display/cafe12d9-116a-8634-5024-1d3980317993

Statement zu KI und mein teilrückzug aus dem Fediverse

https://friendica.tf-translate.net/display/cafe12d9-116a-8634-5024-1d3980317993

Statement zu KI und mein teilrückzug aus dem Fediverse

https://friendica.tf-translate.net/display/cafe12d9-116a-8634-5024-1d3980317993

Statement zu KI und mein teilrückzug aus dem Fediverse

https://friendica.tf-translate.net/display/cafe12d9-116a-8634-5024-1d3980317993

https://geizhals.de/gmktec-evo-x2-a3489706.html

Eben den hier auf Amazon gekauft 🙈 der Gewinn aus #MacStudio finanziert mit den #strixhalo

SSD heatsink bestellt
Firmware Update zuerst angehen (gibt es Updates die Abstürze verhindern sollen) - unter Linux schwierig

Dann geht es ab

Warum nur 64gb? Die letzten Monate kam nichts neue raus in 120b Größe - denke wenn LLM rauskommen in nächsten Zeit dann 30b große - wie jetzt qwen3.8

Dann kann man 16gb für Ubuntu geben und 48gb für LLM --- dann ist man gut aufgestellt

#localai i am coming Back 😁

https://www.europesays.com/ch-fr/261961/ Des informations ont fuité concernant le nouveau mini-PC de GMKtec, doté de 128 Go de RAM et du processeur haut de gamme Gorgon Halo d’AMD #128GoDeRAM #Amd #échantillonD'ingénierie #EVOX5 #Geekbench #GMKtec #Halo #InformationsSurDesOrdinateursPortatifs #MiniPC #nouvelles #PCDeJeu #ProcesseurIA #rapport #RDNA35 #revues #ryzen #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #StrixHalo #Suisse #Technologies #Technology #test #Vulkan #Zen5

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 Ihr habt einen weiteren lokalen KI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2 NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM ist wie Ollama, wurde aber speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S GPU ⚡ XDNA2 NPU Die meisten lokalen KI-Arbeitslasten belasten die GPU und ignorieren die NPU weitgehend. Jetzt könntet ihr folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Arbeitslast 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird zunehmend zu nützlicher KI-Hardware für den lokalen Einsatz.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 Ihr habt einen weiteren lokalen KI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2 NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM ist wie Ollama, wurde aber speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S GPU ⚡ XDNA2 NPU Die meisten lokalen KI-Arbeitslasten belasten die GPU und ignorieren die NPU weitgehend. Jetzt könntet ihr folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Arbeitslast 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird zunehmend zu nützlicher KI-Hardware für den lokalen Einsatz.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 Ihr habt einen weiteren lokalen KI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2 NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM ist wie Ollama, wurde aber speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S GPU ⚡ XDNA2 NPU Die meisten lokalen KI-Arbeitslasten belasten die GPU und ignorieren die NPU weitgehend. Jetzt könntet ihr folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Arbeitslast 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird zunehmend zu nützlicher KI-Hardware für den lokalen Einsatz.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 ihr habt einen weiteren Local-AI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2-NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM funktioniert ähnlich wie Ollama, ist jedoch speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S-GPU ⚡ XDNA2-NPU Die meisten Local-AI-Workloads belasten die GPU und ignorieren die NPU weitgehend. Jetzt könnt ihr potenziell Folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Workloads 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird nun auch als nützliche KI-Hardware für den lokalen Einsatz relevant.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 ihr habt einen weiteren Local-AI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2-NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM funktioniert ähnlich wie Ollama, ist jedoch speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S-GPU ⚡ XDNA2-NPU Die meisten Local-AI-Workloads belasten die GPU und ignorieren die NPU weitgehend. Jetzt könnt ihr potenziell Folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Workloads 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird nun auch als nützliche KI-Hardware für den lokalen Einsatz relevant.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

RT @TeksEdge: 🔥 Besitzer von Strix Halo 👉 ihr habt einen weiteren Local-AI-Beschleuniger in eurem Rechner, der ungenutzt bleibt. AMDs FastFlowLM kann unterstützte Modelle vollständig auf dem Ryzen AI XDNA2-NPU ausführen, ohne die Radeon-GPU zu nutzen. FastFlowLM funktioniert ähnlich wie Ollama, ist jedoch speziell für AMDs NPU entwickelt. 👀 ⚡ LLMs 👁️ Vision 🎙️ Audio 🧩 Embeddings 🧠 MoE 📚 Bis zu 256K Kontext 🔋 Bis zu 10×+ Energieeffizienz 🪶 ~16MB Laufzeitzeit Unterstützte Ryzen AI-Chips umfassen: ✅ Strix Halo ✅ Strix Point ✅ Kraken Point ✅ Gorgon Point Euer Strix Halo verfügt bereits über: 🧠 CPU 🎮 Radeon 8060S-GPU ⚡ XDNA2-NPU Die meisten Local-AI-Workloads belasten die GPU und ignorieren die NPU weitgehend. Jetzt könnt ihr potenziell Folgendes tun: ⚡ NPU → kleine LLM-/Vision-/Sprach-Workloads 🎮 GPU → große lokale LLMs Derselbe PC. Zwei unabhängige KI-Beschleuniger arbeiten gleichzeitig. 🎯 Strix Halo ist nicht nur eine 128GB-Box mit einheitlichem GPU-Speicher. Dieser NPU wird nun auch als nützliche KI-Hardware für den lokalen Einsatz relevant.

mehr auf Arint.info

#AMD #FastFlowLM #LocalAI #NPU #RyzenAI #StrixHalo #arint_info

https://x.com/TeksEdge/status/2087335758231122143#m

ACEMAGIC F9A is an upcoming mini PC with a 2 liter aluminum body and AMD Ryzen AI Max+ inside with up to 128GB LPDDR5x-8000 memory, two SSDs, OCuLink, USB4, and integrated mics and speakers. #ACEMAGIC #ACEMAGICF9A #MiniPC #StrixHalo https://acemagic.com/products/acemagic-minipc-f9a

ACEMAGIC F9A is an upcoming mini PC with a 2 liter aluminum body and AMD Ryzen AI Max+ inside with up to 128GB LPDDR5x-8000 memory, two SSDs, OCuLink, USB4, and integrated mics and speakers. #ACEMAGIC #ACEMAGICF9A #MiniPC #StrixHalo https://acemagic.com/products/acemagic-minipc-f9a

ACEMAGIC F9A is an upcoming mini PC with a 2 liter aluminum body and AMD Ryzen AI Max+ inside with up to 128GB LPDDR5x-8000 memory, two SSDs, OCuLink, USB4, and integrated mics and speakers. #ACEMAGIC #ACEMAGICF9A #MiniPC #StrixHalo https://acemagic.com/products/acemagic-minipc-f9a

ACEMAGIC F9A is an upcoming mini PC with a 2 liter aluminum body and AMD Ryzen AI Max+ inside with up to 128GB LPDDR5x-8000 memory, two SSDs, OCuLink, USB4, and integrated mics and speakers. #ACEMAGIC #ACEMAGICF9A #MiniPC #StrixHalo https://acemagic.com/products/acemagic-minipc-f9a

ACEMAGIC F9A is an upcoming mini PC with a 2 liter aluminum body and AMD Ryzen AI Max+ inside with up to 128GB LPDDR5x-8000 memory, two SSDs, OCuLink, USB4, and integrated mics and speakers. #ACEMAGIC #ACEMAGICF9A #MiniPC #StrixHalo https://acemagic.com/products/acemagic-minipc-f9a

More AI news from AMD, re-use of the better parts of their Strix Halo yield for industrial use cases.

"Physical AI" aka robotics and edge use cases. Buzzword galore! 😆

Still remember when "edge" was the new buzzword Pepperidge Farm Remembers

https://www.servethehome.com/amds-physical-ai-plans-come-into-focus-as-company-launches-ryzen-embedded-ai-x100/

Something I do find interesting is the claim of hard real-time assurances whilst virtualized with Xen.

Technically a guaranteed deadline of 2 years is hard real-time too, just as MS-DOS is an amazing real-time OS, but I'm sure that's not what they're talking about...

Any one got more info on the Xen claim? Haven't heard so much about them these days...

#amd #strixhalo #ai #EmbedddedSystems #PhysicalAI #edgecomputing #robotics #xen #virtualization #realtime

More AI news from AMD, re-use of the better parts of their Strix Halo yield for industrial use cases.

https://www.servethehome.com/amds-physical-ai-plans-come-into-focus-as-company-launches-ryzen-embedded-ai-x100/

"Physical AI" aka robotics and edge use cases. Buzzword galore! 😆
Still remember when "edge" was the new buzzword Pepperidge Farm Remembers

Something I do find interesting is the claim of hard real-time assurances whilst virtualized with Xen.

Technically a guaranteed deadline of 2 years is hard real-time too, just as MS-DOS is an amazing real-time OS, but I'm sure that's not what they're talking about...

Any one got more info on the Xen claim? Haven't heard so much about them these days...

#amd #strixhalo #ai #EmbedddedSystems #PhysicalAI #edgecomputing #robotics #xen #virtualization #realtime #rtos #msdos

More AI news from AMD, re-use of the better parts of their Strix Halo yield for industrial use cases.

"Physical AI" aka robotics and edge use cases. Buzzword galore! 😆

Still remember when "edge" was the new buzzword Pepperidge Farm Remembers

https://www.servethehome.com/amds-physical-ai-plans-come-into-focus-as-company-launches-ryzen-embedded-ai-x100/

Something I do find interesting is the claim of hard real-time assurances whilst virtualized with Xen.

Technically a guaranteed deadline of 2 years is hard real-time too, just as MS-DOS is an amazing real-time OS, but I'm sure that's not what they're talking about...

Any one got more info on the Xen claim? Haven't heard so much about them these days...

#amd #strixhalo #ai #EmbedddedSystems #PhysicalAI #edgecomputing #robotics #xen #virtualization #realtime

More AI news from AMD, re-use of the better parts of their Strix Halo yield for industrial use cases.

"Physical AI" aka robotics and edge use cases. Buzzword galore! 😆

Still remember when "edge" was the new buzzword Pepperidge Farm Remembers

https://www.servethehome.com/amds-physical-ai-plans-come-into-focus-as-company-launches-ryzen-embedded-ai-x100/

Something I do find interesting is the claim of hard real-time assurances whilst virtualized with Xen.

Technically a guaranteed deadline of 2 years is hard real-time too, just as MS-DOS is an amazing real-time OS, but I'm sure that's not what they're talking about...

Any one got more info on the Xen claim? Haven't heard so much about them these days...

#amd #strixhalo #ai #EmbedddedSystems #PhysicalAI #edgecomputing #robotics #xen #virtualization #realtime

More AI news from AMD, re-use of the better parts of their Strix Halo yield for industrial use cases.

"Physical AI" aka robotics and edge use cases. Buzzword galore! 😆

Still remember when "edge" was the new buzzword Pepperidge Farm Remembers

https://www.servethehome.com/amds-physical-ai-plans-come-into-focus-as-company-launches-ryzen-embedded-ai-x100/

Something I do find interesting is the claim of hard real-time assurances whilst virtualized with Xen.

Technically a guaranteed deadline of 2 years is hard real-time too, just as MS-DOS is an amazing real-time OS, but I'm sure that's not what they're talking about...

Any one got more info on the Xen claim? Haven't heard so much about them these days...

#amd #strixhalo #ai #EmbedddedSystems #PhysicalAI #edgecomputing #robotics #xen #virtualization #realtime

AMD’s Physical AI Plans Come Into Focus as Company Launches Ryzen Embedded AI X100

At Advancing AI 2026, AMD laid out their plans for a comprehensive product stack for physical AI hardware. From SoCs to modules to dev kits, AMD is eyeing physical AI as their next big growth opportunity#amd #Edge #Kria #PhysicalAI #RDNA35 #RyzenEmbedded #StrixHalo #Zen5
AMD's Physical AI Plans Come Into Focus as Company Launches Ryzen Embedded AI X100