home.social

#amd-strix-halo — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #amd-strix-halo, aggregated by home.social.

fetched live
  1. RT @ciruai: Das beste Qwen3.8 27B-Modell für AMD Strix Halo ist da. In Zusammenarbeit mit Pete Hopton und dem Kairic.ai-Team präsentiere ich: Qwen3.8-27B-IU4-KAIRIC-EDGE. Unserer Kenntnis nach ist dies die weltweit erste öffentliche Veröffentlichung eines 27B-LLM mit einer beschleunigten nativen IU4-Inferenzspur, speziell für AMD Strix Halo (gfx1151) entwickelt. Warum ist IU4 wichtig? Die meisten 4-Bit-Modelle speichern zwar Speicher, konvertieren Gewichte jedoch weiterhin in breitere Formate während der Ausführung. Unsere IU4-Spur hält Vier-Bit-Ganzzahldaten im aktiven Berechnungspfad und mappt sie direkt auf RDNA 3.5-Integer-Hardware. Das reduziert den Speichertraffic und verwandelt Quantisierung von einem Speicherformat in eine echte Hardware-Ausführungsstrategie. Der abgestimmte IU4-Operator erreichte 104,66 TOPS – 1,94× FP16 und 1,93× IU8. Dies eröffnet einen Weg zu schnellerer, effizienterer lokaler KI, ohne dabei die Modellqualität zu opfern. Ich kann es kaum erwarten zu sehen, was @Italianclownz und andere Zauberer damit anstellen. Angetrieben von Prompt Forge + Dual View, Kairic Edge-Beschleunigung, 262K Kontext: HumanEval-Metriken: • 47,73 tok/s Full-Suite TG • +85% gegenüber Unsloth Dynamic Q4 • +89% gegenüber Unsloth Dynamic Q6 • Schlug Unsloth Dynamic v3 q6 in Human Eval um 2 Fragen. Dies ist auch die erste Veröffentlichung, die von Kairic.ai angetrieben wird, einem neuen Unternehmen, das sich auf die gemeinsame Entwicklung von KI-Software rund um die Hardware konzentriert, auf der sie tatsächlich läuft. Modell, Benchmarks, Quelle, Build-Anleitung und Runner: huggingface.c…

    mehr auf Arint.info

    #AMDStrixHalo #KairicAI #LLM #LocalAI #Qwen3 #RDNA3 #arint_info

    https://x.com/ciruai/status/2091004843720659229

  2. RT @Italianclownz: Qwen 3.8 27B ROCmi4 läuft in Hermes und wird vom ROCmFPX-Build bereitgestellt. Ein reales Beispiel für einen Chat. Die TTFT (Time to First Token) kann noch verbessert werden, aber bei einem dichten Modell und da es sich um eine neue Veröffentlichung handelt, bin ich zufrieden. Die Antworten 🚀 Hardware: @FrameworkPuter AMD Strix Halo Software: ROCmFPX-Build Agent: Hermes

    mehr auf Arint.info

    #AIChat #AMDStrixHalo #HermesAgent #MachineLearning #Qwen38 #ROCmFPX #arint_info

    https://x.com/Italianclownz/status/2091210394022842576

  3. RT @ciruai: Das beste Qwen3.8 27B-Modell für AMD Strix Halo ist da. In Zusammenarbeit mit Pete Hopton und dem Kairic.ai-Team präsentiere ich: Qwen3.8-27B-IU4-KAIRIC-EDGE. Unserer Kenntnis nach ist dies die weltweit erste öffentliche Veröffentlichung eines 27B-LLM mit einer beschleunigten nativen IU4-Inferenzspur, speziell für AMD Strix Halo (gfx1151) entwickelt. Warum ist IU4 wichtig? Die meisten 4-Bit-Modelle speichern zwar Speicher, wandeln Gewichte jedoch während der Ausführung weiterhin in breitere Formate um. Unsere IU4-Spur behält die Vier-Bit-Ganzzahldaten im aktiven Berechnungspfad und leitet sie direkt an die RDNA 3.5-Ganzzahlhardware weiter. Das reduziert den Speichertraffic und verwandelt Quantisierung von einem Speicherformat in eine echte Hardware-Ausführungsstrategie. Der abgestimmte IU4-Operator erreichte 104,66 TOPS – 1,94× FP16 und 1,93× IU8. Dies eröffnet einen Weg zu schnellerer, effizienterer lokaler KI, ohne dabei die Modellqualität zu opfern. Ich kann es kaum erwarten zu sehen, was @Italianclownz und andere Experten damit anstellen werden. Getrieben von Prompt Forge + Dual View, Kairic Edge-Beschleunigung, 262K Kontext: HumanEval-Metriken: • 47,73 tok/s Full-Suite TG • +85% gegenüber Unsloth Dynamic Q4 • +89% gegenüber Unsloth Dynamic Q6 • Schlug Unsloth Dynamic v3 q6 in HumanEval um 2 Fragen. Dies ist auch die erste Veröffentlichung, die von Kairic.ai unterstützt wird, einem neuen Unternehmen, das sich auf die gemeinsame Entwicklung von KI-Software rund um die Hardware konzentriert, auf der sie tatsächlich läuft. Modell, Benchmarks, Quelle, Build-Anleitung und Ru…

    mehr auf Arint.info

    #AMDStrixHalo #KairicAI #LLM #LocalAI #Qwen3 #RDNA3 #arint_info

    https://x.com/ciruai/status/2091004843720659229

  4. RT @pupposandro: Lucebox Engine betreibt nun DeepSeek V4 Flash 0731 von einem einzelnen 98,29 GB großen GGUF-Modell auf einem 128 GB AMD Strix Halo System. Das Modell erzielt 82/92 Punkte auf ds4-eval-92 und erreicht 32,7 Token pro Sekunde mit DSpark. Über unsere festgelegten Evaluierungen HumanEval, GSM8K und MATH hinweg liegt die Durchschnittsgeschwindigkeit bei 27,9 Token pro Sekunde. Vielen Dank noch einmal an @GeometricAGI für die fantastische Zusammenarbeit an diesem Projekt. Alle Details finden Sie im untenstehenden Artikel. Unterstütztes Ziel: huggingface.co/Lucebox/DeepS… Link Lucebox/DeepSeek-V4-Flash-0731-ROCmFP3 · Hugging Face Wir sind auf einer Reise, um künstliche Intelligenz durch Open Source und Open Science voranzubringen und demokratisierbar zu machen. huggingface.co Sandro (@pupposandro) Artikel Lucebox × Geometric: DeepSeek V4 Flash 0731 erreicht 32,7 Token pro Sekunde auf AMD Strix Halo. Wir haben gemeinsam mit Geometric die Unterstützung für DeepSeek-V4-Flash-0731 in Lucebox Engine hinzugefügt. Die Zusammenarbeit umfasst adaptive ROCmFPX-Formate, HIP- und CUDA-Kernels, eingebettetes Codebook-Loading und Runtime — nitter.net/pupposandro/status/

    mehr auf Arint.info

    #AI #AMDStrixHalo #DeepSeek #Lucebox #MachineLearning #OpenSource #arint_info

    https://x.com/pupposandro/status/2087231623381000381#m

  5. The AYANEO Next 2 is a handheld game console with an AMD Strix Halo processor. After suspending pre-orders earlier this year because the $1999 starting price was "unsustainable," it's now priced at $2999 and up. minimachines.net/actu/console-

  6. The internet(tm) claims that DevStral2 would be almost on par with Claude Sonnet 4.5.
    Also, open weights model with 120B, i.e. reasonable on current om-prem hardware a la AMDs 395+.
    Prices are also pretty ok if hosted, also: EU hostable.

    Did anyone compare that thing to the above Claude model, ideally using Claude Code as control system?
    I'd also be interested in on-prem reports, ideally also with one of the AMD 395+ UMA boxes.

    #llm #claudecode #claude_sonnet_45 #sonnet45 #devstral #devstral2 #mistral #aicoding #uma #amd #amdstrixhalo

  7. The MSI AI Edge is the latest small desktop PC with a Ryzen AI Max+ 395 Strix Halo processor. It has a 4 liter chassis, up to 128GB of LPDDR5X-8000 memory and AMD's high-end chip with 16 Zen 5 CPU cores and 40-core RDNA 3.5 graphics. msi.com/news/detail/MSI-Launch

  8. Now you can buy a GPD Win 5 handheld gaming PC with a Ryzen AI Max+ 395 processor and up to 128GB of RAM and 4TB of storage... if you're willing to spend $2700 on a handheld for features that matter most if you plan to use it as an AI workstation. indiegogo.com/en/projects/gpdh

  9. AMD Strix Halo handheld PC comparison: AYANEO NEXT II vs GPD Win 5 vs OneXFly Apex

    AMD’s Ryzen AI Max and Max+ processors, also known by the code-name “Strix Halo” are mobile chips that combine up to a 16-core, 32-thread Zen 5 CPU with up to 40 RDNA 3.5 GPU compute units. Positioned as a solution for gaming laptops and mini PCs that can function as AI workstations, the chips are also starting to show up in handheld gaming computers.

    But fitting a chip this powerful into a […]

    #amdStrixHalo #ayaneo #ayaneoNext2 #ayaneoNextIi #gpd #gpdWin5 #handheldGamingPc #oneNetbook #onexflyApex #ONEXPLAYER #strixHalo Read more: liliputing.com/amd-strix-halo-
  10. The GPD Win 5 handheld gaming PC has a 7 inch display and support for up to an Ryzen AI Max+ 395 processor. Initially available with up to 64GB of RAM, the company now plans to offer a 128GB version, coming soon to Indiegogo InDemand. x.com/softwincn/status/1987826

  11. The AYANEO NEXT 2 is an upcoming handheld gaming PC with an AMD Strix Halo processor and a BIG body. How big? The company hasn't shared detailed specs yet, but a new video gives us a good idea: youtube.com/watch?v=ancPwcD_iP

  12. The Phawx goes hands-on with the most powerful handheld gaming PC to date, and explains why while it's expensive for a handheld, it has performance to justify the price (and it's competitive with other PCs with the same chip). youtube.com/watch?v=vuQelz8q7Iw

  13. AMD這台電腦雖然性價比不高,但至少能跑OpenAI最新的GPT模型,估計實際場景中Context更長時應該有20+tps,算是可用的程度。而且是120b的模型

    youtube.com/watch?v=RFBrw40K7_

    #gptoss #AMDStrixHalo

Share on Mastodon

Enter the server where you have an account.