#ryzen_ai_max — Public Fediverse posts

Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки

Один Beelink GTR9 Pro на Ryzen AI Max+ 395 выдал 236 tok/s суммарной генерации на 32 одновременных запросах в коротких прогонах и удержал в среднем 226 tok/s за 30 минут непрерывной нагрузки без тротлинга. По дороге к этим числам я нашёл воспроизводимый провал пропускной способности, который сначала выглядел свойством одной модели, увидел, как спекулятивный декодинг на моём стеке превращается из ускорителя в налог, и трижды чуть не опубликовал неверные выводы. Каждый раз спасали контрольные замеры, все три истории здесь, в статье. Харнессы, конфиги, полные таблицы, значения по каждому ключевому и финальному прогону, поминутные ряды выносливости и телеметрия лежат в открытом репозитории . Логи отдельных запросов харнесс не вёл, поэтому пересчитать можно всё до уровня прогона, но не глубже. Числа сняты на одном конкретном стенде; что из этого переносится на другие стеки, а что нет, оговорено по ходу текста.

https://habr.com/ru/articles/1060520/

#Strix_Halo #Ryzen_AI_Max #llamacpp #локальные_LLM #инференс #бенчмарки #Vulkan #Gemma_4 #Qwen36 #спекулятивный_декодинг

Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки

Один Beelink GTR9 Pro на Ryzen AI Max+ 395 выдал 236 tok/s суммарной генерации на 32 одновременных запросах в коротких прогонах и удержал в среднем 226 tok/s за 30 минут непрерывной нагрузки без тротлинга. По дороге к этим числам я нашёл воспроизводимый провал пропускной способности, который сначала выглядел свойством одной модели, увидел, как спекулятивный декодинг на моём стеке превращается из ускорителя в налог, и трижды чуть не опубликовал неверные выводы. Каждый раз спасали контрольные замеры, все три истории здесь, в статье. Харнессы, конфиги, полные таблицы, значения по каждому ключевому и финальному прогону, поминутные ряды выносливости и телеметрия лежат в открытом репозитории . Логи отдельных запросов харнесс не вёл, поэтому пересчитать можно всё до уровня прогона, но не глубже. Числа сняты на одном конкретном стенде; что из этого переносится на другие стеки, а что нет, оговорено по ходу текста.

https://habr.com/ru/articles/1060520/

#Strix_Halo #Ryzen_AI_Max #llamacpp #локальные_LLM #инференс #бенчмарки #Vulkan #Gemma_4 #Qwen36 #спекулятивный_декодинг

Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки

Один Beelink GTR9 Pro на Ryzen AI Max+ 395 выдал 236 tok/s суммарной генерации на 32 одновременных запросах в коротких прогонах и удержал в среднем 226 tok/s за 30 минут непрерывной нагрузки без тротлинга. По дороге к этим числам я нашёл воспроизводимый провал пропускной способности, который сначала выглядел свойством одной модели, увидел, как спекулятивный декодинг на моём стеке превращается из ускорителя в налог, и трижды чуть не опубликовал неверные выводы. Каждый раз спасали контрольные замеры, все три истории здесь, в статье. Харнессы, конфиги, полные таблицы, значения по каждому ключевому и финальному прогону, поминутные ряды выносливости и телеметрия лежат в открытом репозитории . Логи отдельных запросов харнесс не вёл, поэтому пересчитать можно всё до уровня прогона, но не глубже. Числа сняты на одном конкретном стенде; что из этого переносится на другие стеки, а что нет, оговорено по ходу текста.

https://habr.com/ru/articles/1060520/

#Strix_Halo #Ryzen_AI_Max #llamacpp #локальные_LLM #инференс #бенчмарки #Vulkan #Gemma_4 #Qwen36 #спекулятивный_декодинг

Домашний супер-компьютер для ИИ: какой выбрать в 2025?

Вполне возможно, что в этом году происходит зарождение нового тренда. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые моделей (LLM) и генеративный ИИ перестают быть прерогативой дата-центров. В этой статье приведен обзор решений, которые можно применить в качестве домашних вычислительных станций ИИ сегодня.

https://habr.com/ru/articles/964332/

#локальный_ai #инференс_ллм #llm #локальный_запуск_нейросетей #Nvidia_DGX_Spark #mac_studio #Strix_Halo #RYZEN_AI_MAX+_395 #ии #ai

Домашний супер-компьютер для ИИ: какой выбрать в 2025?

Вполне возможно, что в этом году происходит зарождение нового тренда. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые моделей (LLM) и генеративный ИИ перестают быть прерогативой дата-центров. В этой статье приведен обзор решений, которые можно применить в качестве домашних вычислительных станций ИИ сегодня.

https://habr.com/ru/articles/964332/

#локальный_ai #инференс_ллм #llm #локальный_запуск_нейросетей #Nvidia_DGX_Spark #mac_studio #Strix_Halo #RYZEN_AI_MAX+_395 #ии #ai

Домашний супер-компьютер для ИИ: какой выбрать в 2025?

Вполне возможно, что в этом году происходит зарождение нового тренда. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые моделей (LLM) и генеративный ИИ перестают быть прерогативой дата-центров. В этой статье приведен обзор решений, которые можно применить в качестве домашних вычислительных станций ИИ сегодня.

https://habr.com/ru/articles/964332/

#локальный_ai #инференс_ллм #llm #локальный_запуск_нейросетей #Nvidia_DGX_Spark #mac_studio #Strix_Halo #RYZEN_AI_MAX+_395 #ии #ai

Все о новинках AMD: Ryzen 9950X3D и AI MAX+ на выставке CES2025

Конференция CES 2025 в самом разгаре, и компания AMD в ответ на решения от Intel представляет впечатляющие новинки. Высокопроизводительные десктопные процессоры Ryzen 9 9950X3D , ноутбучные Ryzen AI MAX с акцентом на ИИ, а также Ryzen 9000HX для самых требовательных портативных систем. Если вам, как и нам, интересно противостояние технологических гигантов, рекомендуем ознакомиться с новинками от AMD в нашей статье!

https://habr.com/ru/companies/serverflow/articles/871976/

#AMD_Ryzen_9_9950X3D #AMD_Ryzen_AI_300 #Ryzen_AI_MAX #Ryzen_AI_PRO #Ryzen_9_9900X3D #Ryzen_9000X3D #ces2025 #RDNA35 #Radeon #zen_5

Все о новинках AMD: Ryzen 9950X3D и AI MAX+ на выставке CES2025

Конференция CES 2025 в самом разгаре, и компания AMD в ответ на решения от Intel представляет впечатляющие новинки. Высокопроизводительные десктопные процессоры Ryzen 9 9950X3D , ноутбучные Ryzen AI MAX с акцентом на ИИ, а также Ryzen 9000HX для самых требовательных портативных систем. Если вам, как и нам, интересно противостояние технологических гигантов, рекомендуем ознакомиться с новинками от AMD в нашей статье!

https://habr.com/ru/companies/serverflow/articles/871976/

#AMD_Ryzen_9_9950X3D #AMD_Ryzen_AI_300 #Ryzen_AI_MAX #Ryzen_AI_PRO #Ryzen_9_9900X3D #Ryzen_9000X3D #ces2025 #RDNA35 #Radeon #zen_5

Все о новинках AMD: Ryzen 9950X3D и AI MAX+ на выставке CES2025

Конференция CES 2025 в самом разгаре, и компания AMD в ответ на решения от Intel представляет впечатляющие новинки. Высокопроизводительные десктопные процессоры Ryzen 9 9950X3D , ноутбучные Ryzen AI MAX с акцентом на ИИ, а также Ryzen 9000HX для самых требовательных портативных систем. Если вам, как и нам, интересно противостояние технологических гигантов, рекомендуем ознакомиться с новинками от AMD в нашей статье!

https://habr.com/ru/companies/serverflow/articles/871976/

#AMD_Ryzen_9_9950X3D #AMD_Ryzen_AI_300 #Ryzen_AI_MAX #Ryzen_AI_PRO #Ryzen_9_9900X3D #Ryzen_9000X3D #ces2025 #RDNA35 #Radeon #zen_5