home.social

#npu — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #npu, aggregated by home.social.

  1. Axera AX650N: архитектура Edge ML SoC под CNN, LLM и VLM

    Большинство задач современной робототехники так или иначе завязаны на нейронных сетях: детекция объектов, оценка глубины, локализация, планирование. Всё это ресурсоёмко, и вопрос выбора компактного вычислителя (достаточно часто алгоритмы должны работать локально) встает довольно остро. На практике выбор сводится к трём классам устройств: NVIDIA Jetson , внешний ускоритель (один из самых популярных — Hailo) и китайский (не всегда, конечно, но в современных реалиях обычно китайский) SoC с интегрированным NPU. В этой статье я рассмотрю представителя третьего класса — Axera AX650N , а NVIDIA Jetson будет использоваться для сравнения, так как это единственное массовое edge-решение с универсальными вычислительными ядрами (CUDA) . Это первая часть цикла. Здесь я разберу аппаратную архитектуру самого AX650N — CPU, NPU, DSP, ISP, память — и поделюсь результатами первых тестов: YOLO, Depth Anything, SuperPoint и мультимодальный Qwen3. Подробные бенчмарки и сравнения — во второй части. Я тестировал AX650N в рамках готового устройства от Sipeed — Maix4 Hat . Он состоит из двух частей: SoM , на котором расположены SoC и 8 GB RAM (2x4 GB, так как у AX650N два отдельных DDR-контроллера) , и baseboard от Sipeed с минимальным количеством интерфейсов. Скромность интерфейсов объясняется просто: baseboard — это HAT для Raspberry Pi 5, подключающийся по PCIe 2.0. В такой конфигурации AX650N работает как внешний ML-ускоритель, аналогично Hailo . В рамках этой и последующих статей я буду использовать Maix4 Hat как самостоятельный микрокомпьютер.

    habr.com/ru/articles/1035776/

    #Axera #NPU #VLM #llm #embedded #cnn #нейросети #sipeed #электроника #компьютерное_зрение

  2. Axera AX650N: архитектура Edge ML SoC под CNN, LLM и VLM

    Большинство задач современной робототехники так или иначе завязаны на нейронных сетях: детекция объектов, оценка глубины, локализация, планирование. Всё это ресурсоёмко, и вопрос выбора компактного вычислителя (достаточно часто алгоритмы должны работать локально) встает довольно остро. На практике выбор сводится к трём классам устройств: NVIDIA Jetson , внешний ускоритель (один из самых популярных — Hailo) и китайский (не всегда, конечно, но в современных реалиях обычно китайский) SoC с интегрированным NPU. В этой статье я рассмотрю представителя третьего класса — Axera AX650N , а NVIDIA Jetson будет использоваться для сравнения, так как это единственное массовое edge-решение с универсальными вычислительными ядрами (CUDA) . Это первая часть цикла. Здесь я разберу аппаратную архитектуру самого AX650N — CPU, NPU, DSP, ISP, память — и поделюсь результатами первых тестов: YOLO, Depth Anything, SuperPoint и мультимодальный Qwen3. Подробные бенчмарки и сравнения — во второй части. Я тестировал AX650N в рамках готового устройства от Sipeed — Maix4 Hat . Он состоит из двух частей: SoM , на котором расположены SoC и 8 GB RAM (2x4 GB, так как у AX650N два отдельных DDR-контроллера) , и baseboard от Sipeed с минимальным количеством интерфейсов. Скромность интерфейсов объясняется просто: baseboard — это HAT для Raspberry Pi 5, подключающийся по PCIe 2.0. В такой конфигурации AX650N работает как внешний ML-ускоритель, аналогично Hailo . В рамках этой и последующих статей я буду использовать Maix4 Hat как самостоятельный микрокомпьютер.

    habr.com/ru/articles/1035776/

    #Axera #NPU #VLM #llm #embedded #cnn #нейросети #sipeed #электроника #компьютерное_зрение

  3. Axera AX650N: архитектура Edge ML SoC под CNN, LLM и VLM

    Большинство задач современной робототехники так или иначе завязаны на нейронных сетях: детекция объектов, оценка глубины, локализация, планирование. Всё это ресурсоёмко, и вопрос выбора компактного вычислителя (достаточно часто алгоритмы должны работать локально) встает довольно остро. На практике выбор сводится к трём классам устройств: NVIDIA Jetson , внешний ускоритель (один из самых популярных — Hailo) и китайский (не всегда, конечно, но в современных реалиях обычно китайский) SoC с интегрированным NPU. В этой статье я рассмотрю представителя третьего класса — Axera AX650N , а NVIDIA Jetson будет использоваться для сравнения, так как это единственное массовое edge-решение с универсальными вычислительными ядрами (CUDA) . Это первая часть цикла. Здесь я разберу аппаратную архитектуру самого AX650N — CPU, NPU, DSP, ISP, память — и поделюсь результатами первых тестов: YOLO, Depth Anything, SuperPoint и мультимодальный Qwen3. Подробные бенчмарки и сравнения — во второй части. Я тестировал AX650N в рамках готового устройства от Sipeed — Maix4 Hat . Он состоит из двух частей: SoM , на котором расположены SoC и 8 GB RAM (2x4 GB, так как у AX650N два отдельных DDR-контроллера) , и baseboard от Sipeed с минимальным количеством интерфейсов. Скромность интерфейсов объясняется просто: baseboard — это HAT для Raspberry Pi 5, подключающийся по PCIe 2.0. В такой конфигурации AX650N работает как внешний ML-ускоритель, аналогично Hailo . В рамках этой и последующих статей я буду использовать Maix4 Hat как самостоятельный микрокомпьютер.

    habr.com/ru/articles/1035776/

    #Axera #NPU #VLM #llm #embedded #cnn #нейросети #sipeed #электроника #компьютерное_зрение

  4. Axera AX650N: архитектура Edge ML SoC под CNN, LLM и VLM

    Большинство задач современной робототехники так или иначе завязаны на нейронных сетях: детекция объектов, оценка глубины, локализация, планирование. Всё это ресурсоёмко, и вопрос выбора компактного вычислителя (достаточно часто алгоритмы должны работать локально) встает довольно остро. На практике выбор сводится к трём классам устройств: NVIDIA Jetson , внешний ускоритель (один из самых популярных — Hailo) и китайский (не всегда, конечно, но в современных реалиях обычно китайский) SoC с интегрированным NPU. В этой статье я рассмотрю представителя третьего класса — Axera AX650N , а NVIDIA Jetson будет использоваться для сравнения, так как это единственное массовое edge-решение с универсальными вычислительными ядрами (CUDA) . Это первая часть цикла. Здесь я разберу аппаратную архитектуру самого AX650N — CPU, NPU, DSP, ISP, память — и поделюсь результатами первых тестов: YOLO, Depth Anything, SuperPoint и мультимодальный Qwen3. Подробные бенчмарки и сравнения — во второй части. Я тестировал AX650N в рамках готового устройства от Sipeed — Maix4 Hat . Он состоит из двух частей: SoM , на котором расположены SoC и 8 GB RAM (2x4 GB, так как у AX650N два отдельных DDR-контроллера) , и baseboard от Sipeed с минимальным количеством интерфейсов. Скромность интерфейсов объясняется просто: baseboard — это HAT для Raspberry Pi 5, подключающийся по PCIe 2.0. В такой конфигурации AX650N работает как внешний ML-ускоритель, аналогично Hailo . В рамках этой и последующих статей я буду использовать Maix4 Hat как самостоятельный микрокомпьютер.

    habr.com/ru/articles/1035776/

    #Axera #NPU #VLM #llm #embedded #cnn #нейросети #sipeed #электроника #компьютерное_зрение

  5. NPU в ноутбуках: что меняется для тех, кто закупает корпоративную технику

    Привет, Хабр! Меня зовут Артем, я дата-инженер. В работе часто приходится выбирать: гонять вычисления в облаке или делать их ближе к данным, и у каждого варианта свои больные места. Но недавно ИИ-нагрузки начали переезжать с облачных GPU на обычные ноутбуки — Microsoft вписала нейропроцессор в требования к Copilot+ PC, AMD и Intel встраивают NPU прямо в SoC. Мне стало любопытно: что там на самом деле происходит? За маркетинговой шумихой скрывается сдвиг к гибридной архитектуре: тяжёлое остаётся в облаке, массовые задачи разъезжаются по устройствам сотрудников. Это меняет работу тех, кто такой парк закупает и обслуживает — добавляются требования к памяти и поддержке конкретных ИИ-фреймворков, появляется новая задача доставки и обновления моделей на устройствах, а горизонт планирования у ИТ-отделов оказывается короче, чем кажется. Я заинтересовался темой после одного бенчмарка : NPU в ноутбуке AMD Ryzen AI 300 генерировал изображение 70 секунд, а встроенный GPU того же чипа справлялся за 30 — специализированный нейропроцессор проиграл универсальному вдвое на задаче, под которую его затачивали. Через эту аномалию хорошо видно, как устроены три процессора в одном SoC. Разберём: чем NPU отличается от соседей по чипу, почему всё упирается в память, как LLM удаётся уместить на ноутбуке и что из этого реально работает в корпоративной среде уже сейчас.

    habr.com/ru/companies/ru_mts/a

    #NPU #Искусственный_интеллект #LLM #Железо #Процессоры #Ноутбуки #Машинное_обучение #Инференс #Copilot+_PC #Корпоративные_технологии

  6. NPU в ноутбуках: что меняется для тех, кто закупает корпоративную технику

    Привет, Хабр! Меня зовут Артем, я дата-инженер. В работе часто приходится выбирать: гонять вычисления в облаке или делать их ближе к данным, и у каждого варианта свои больные места. Но недавно ИИ-нагрузки начали переезжать с облачных GPU на обычные ноутбуки — Microsoft вписала нейропроцессор в требования к Copilot+ PC, AMD и Intel встраивают NPU прямо в SoC. Мне стало любопытно: что там на самом деле происходит? За маркетинговой шумихой скрывается сдвиг к гибридной архитектуре: тяжёлое остаётся в облаке, массовые задачи разъезжаются по устройствам сотрудников. Это меняет работу тех, кто такой парк закупает и обслуживает — добавляются требования к памяти и поддержке конкретных ИИ-фреймворков, появляется новая задача доставки и обновления моделей на устройствах, а горизонт планирования у ИТ-отделов оказывается короче, чем кажется. Я заинтересовался темой после одного бенчмарка : NPU в ноутбуке AMD Ryzen AI 300 генерировал изображение 70 секунд, а встроенный GPU того же чипа справлялся за 30 — специализированный нейропроцессор проиграл универсальному вдвое на задаче, под которую его затачивали. Через эту аномалию хорошо видно, как устроены три процессора в одном SoC. Разберём: чем NPU отличается от соседей по чипу, почему всё упирается в память, как LLM удаётся уместить на ноутбуке и что из этого реально работает в корпоративной среде уже сейчас.

    habr.com/ru/companies/ru_mts/a

    #NPU #Искусственный_интеллект #LLM #Железо #Процессоры #Ноутбуки #Машинное_обучение #Инференс #Copilot+_PC #Корпоративные_технологии

  7. NPU в ноутбуках: что меняется для тех, кто закупает корпоративную технику

    Привет, Хабр! Меня зовут Артем, я дата-инженер. В работе часто приходится выбирать: гонять вычисления в облаке или делать их ближе к данным, и у каждого варианта свои больные места. Но недавно ИИ-нагрузки начали переезжать с облачных GPU на обычные ноутбуки — Microsoft вписала нейропроцессор в требования к Copilot+ PC, AMD и Intel встраивают NPU прямо в SoC. Мне стало любопытно: что там на самом деле происходит? За маркетинговой шумихой скрывается сдвиг к гибридной архитектуре: тяжёлое остаётся в облаке, массовые задачи разъезжаются по устройствам сотрудников. Это меняет работу тех, кто такой парк закупает и обслуживает — добавляются требования к памяти и поддержке конкретных ИИ-фреймворков, появляется новая задача доставки и обновления моделей на устройствах, а горизонт планирования у ИТ-отделов оказывается короче, чем кажется. Я заинтересовался темой после одного бенчмарка : NPU в ноутбуке AMD Ryzen AI 300 генерировал изображение 70 секунд, а встроенный GPU того же чипа справлялся за 30 — специализированный нейропроцессор проиграл универсальному вдвое на задаче, под которую его затачивали. Через эту аномалию хорошо видно, как устроены три процессора в одном SoC. Разберём: чем NPU отличается от соседей по чипу, почему всё упирается в память, как LLM удаётся уместить на ноутбуке и что из этого реально работает в корпоративной среде уже сейчас.

    habr.com/ru/companies/ru_mts/a

    #NPU #Искусственный_интеллект #LLM #Железо #Процессоры #Ноутбуки #Машинное_обучение #Инференс #Copilot+_PC #Корпоративные_технологии

  8. NPU в ноутбуках: что меняется для тех, кто закупает корпоративную технику

    Привет, Хабр! Меня зовут Артем, я дата-инженер. В работе часто приходится выбирать: гонять вычисления в облаке или делать их ближе к данным, и у каждого варианта свои больные места. Но недавно ИИ-нагрузки начали переезжать с облачных GPU на обычные ноутбуки — Microsoft вписала нейропроцессор в требования к Copilot+ PC, AMD и Intel встраивают NPU прямо в SoC. Мне стало любопытно: что там на самом деле происходит? За маркетинговой шумихой скрывается сдвиг к гибридной архитектуре: тяжёлое остаётся в облаке, массовые задачи разъезжаются по устройствам сотрудников. Это меняет работу тех, кто такой парк закупает и обслуживает — добавляются требования к памяти и поддержке конкретных ИИ-фреймворков, появляется новая задача доставки и обновления моделей на устройствах, а горизонт планирования у ИТ-отделов оказывается короче, чем кажется. Я заинтересовался темой после одного бенчмарка : NPU в ноутбуке AMD Ryzen AI 300 генерировал изображение 70 секунд, а встроенный GPU того же чипа справлялся за 30 — специализированный нейропроцессор проиграл универсальному вдвое на задаче, под которую его затачивали. Через эту аномалию хорошо видно, как устроены три процессора в одном SoC. Разберём: чем NPU отличается от соседей по чипу, почему всё упирается в память, как LLM удаётся уместить на ноутбуке и что из этого реально работает в корпоративной среде уже сейчас.

    habr.com/ru/companies/ru_mts/a

    #NPU #Искусственный_интеллект #LLM #Железо #Процессоры #Ноутбуки #Машинное_обучение #Инференс #Copilot+_PC #Корпоративные_технологии

  9. Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?

    Голосовые ассистенты работают удобно, но почти всегда через облако: нужна сеть, есть задержка, и речь уходит на внешние серверы. На устройстве обычно либо примитивный команды, либо слишком тяжёлая платформа. Я проверил, можно ли закрыть этот разрыв на микроконтроллере STM32N6 со встроенным NPU : распознавать произвольную речь локально , в реальном времени и с потреблением около 0.2 Вт .

    habr.com/ru/articles/1022384/

    #stm32 #stm32n6 #npu #mcu #микроконтроллеры #распознавание_речи #edge_ai #машинное_обучение #нейросети #tinyml

  10. Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?

    Голосовые ассистенты работают удобно, но почти всегда через облако: нужна сеть, есть задержка, и речь уходит на внешние серверы. На устройстве обычно либо примитивный команды, либо слишком тяжёлая платформа. Я проверил, можно ли закрыть этот разрыв на микроконтроллере STM32N6 со встроенным NPU : распознавать произвольную речь локально , в реальном времени и с потреблением около 0.2 Вт .

    habr.com/ru/articles/1022384/

    #stm32 #stm32n6 #npu #mcu #микроконтроллеры #распознавание_речи #edge_ai #машинное_обучение #нейросети #tinyml

  11. Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?

    Голосовые ассистенты работают удобно, но почти всегда через облако: нужна сеть, есть задержка, и речь уходит на внешние серверы. На устройстве обычно либо примитивный команды, либо слишком тяжёлая платформа. Я проверил, можно ли закрыть этот разрыв на микроконтроллере STM32N6 со встроенным NPU : распознавать произвольную речь локально , в реальном времени и с потреблением около 0.2 Вт .

    habr.com/ru/articles/1022384/

    #stm32 #stm32n6 #npu #mcu #микроконтроллеры #распознавание_речи #edge_ai #машинное_обучение #нейросети #tinyml

  12. Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?

    Голосовые ассистенты работают удобно, но почти всегда через облако: нужна сеть, есть задержка, и речь уходит на внешние серверы. На устройстве обычно либо примитивный команды, либо слишком тяжёлая платформа. Я проверил, можно ли закрыть этот разрыв на микроконтроллере STM32N6 со встроенным NPU : распознавать произвольную речь локально , в реальном времени и с потреблением около 0.2 Вт .

    habr.com/ru/articles/1022384/

    #stm32 #stm32n6 #npu #mcu #микроконтроллеры #распознавание_речи #edge_ai #машинное_обучение #нейросети #tinyml

  13. »Eine GPU kann viele komplexe Rechnungen, Geometrie- und Matrix-Operationen usw parallel & präzise ausführen und so die CPU entlasten.

    Und die #NPU macht auch sehr viel an einfachen Berechnungen (im Wesentlichen nur Addieren + Multiplizieren) gleichzeitig, das aber nur mit sehr geringen Genauigkeiten (8-Bit oder weniger) und dafür mit extrem schnellem Speicher/Cache. Und man kann mit nur einer Instruktion viele Operationen erledigen, und das mit wenig Energieaufwand.«

    forum.golem.de/read.php?188069

  14. 🚨 Aegis officially debuts the industry's first Real-Time NPU Dashboard.

    Seeing warning numbers on this screen does NOT mean your phone is broken or the app crashed. It simply means your speaking speed has outpaced your NPU's processing speed. When you hit STOP, you just have to wait a bit for the remaining audio slices to clear.

    📱 Why I banned low-end phones: Their CPUs choke, stacking 50+ slices. The wait time is agonizing. I refuse to deliver that experience.

    🔥 If you see this on a supported Flagship: Your silicon is struggling. Why? 1) Thermal throttling (take off your thick phone case). 2) Background apps are hogging NPU resources. Even then, just hit STOP and give it a few seconds to finish.

    We need more transparency in local AI architectures, not black boxes. Let the silicon speak for itself.

    [ Visible Local Compute. ]

    ##Privacy #LocalAI #Snapdragon8Gen3 #NPU #AndroidDev #PrivacyFirst

  15. 🚨 Aegis officially debuts the industry's first Real-Time NPU Dashboard.

    Seeing warning numbers on this screen does NOT mean your phone is broken or the app crashed. It simply means your speaking speed has outpaced your NPU's processing speed. When you hit STOP, you just have to wait a bit for the remaining audio slices to clear.

    📱 Why I banned low-end phones: Their CPUs choke, stacking 50+ slices. The wait time is agonizing. I refuse to deliver that experience.

    🔥 If you see this on a supported Flagship: Your silicon is struggling. Why? 1) Thermal throttling (take off your thick phone case). 2) Background apps are hogging NPU resources. Even then, just hit STOP and give it a few seconds to finish.

    We need more transparency in local AI architectures, not black boxes. Let the silicon speak for itself.

    [ Visible Local Compute. ]

    ##Privacy #LocalAI #Snapdragon8Gen3 #NPU #AndroidDev #PrivacyFirst

  16. Mi próximo PC va a tener más IA que CPU y no sé cómo sentirme.

    He estado viendo los nuevos procesadores que vienen con núcleos NPU dedicados solo para Inteligencia Artificial. A ver, sobre el papel suena increíble, mucha potencia y tal... pero me escama. ¿Para qué quieren que tengamos tanta potencia de IA en local? ¿Es para que Windows me espíe mejor con cosas tipo Recall o para que yo pueda correr mis propios modelos sin que nadie me censure desde una nube?

    Estamos en un punto crítico, de verdad. O usamos ese hardware para ser libres de una vez o nos lo van a meter doblado para que seamos simples terminales tontas conectadas a sus servidores. Yo lo tengo clarísimo: ese NPU se va a comer modelos Open Source y localizados o no entra en mi casa. No quiero una IA que me dé sermones morales cada vez que le pido algo técnico.

    ¿Alguien más está planeando el salto a hardware dedicado o creéis que nos la van a colar con el software de serie?

    #IA #Privacidad #SoberaníaTecnológica #OpenSource #TechDebate #IA_sin_Fronteras #DigitalFreedom #FuckTheCloud #LocalAI #CensuraDigital #LibertadSoftware #TechRaw #HackingReal #HardwareSoberano #AntiCorporate #Autogestion #TecnologiaLibre #HardwareLibre #SoberaniaDigital #PrivacidadDigital #SinBigTech #NoCloud #IAdescentralizada #TecnoFeudalismo #ResistenciaDigital #SoftwareLibre #TechPunk #CriptoAnarquismo #ComputacionLocal #CensuraCero #IAEticaReal #DescentralizaLaRed #PropiedadDigital #SinPermisos #IndependenciaTecnologica #PoderAlUsuario #DerechosDigitales #LibertadDeCodigo #HackTheSystem #AutonomiaTecnica #ContraLaVigilancia #IAhumana #Hardware #NPU #Futuro #DerechosHumanos #TecnoEtica #DIYtech #Linux #SelfHosted #DataSovereignty #CyberPunk #RealTech #NoSpying #UserControl #TechJustice #GlobalSouthTech #IA_Para_Todos

  17. NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни

    Год назад я приобрел ноутбук категории Copilot+ PC с процессором AMD Ryzen AI 9 HX 370 . Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа. Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM.

    habr.com/ru/articles/1008080/

    #npu #copilot #ryzen_ai #windows_11

  18. NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни

    Год назад я приобрел ноутбук категории Copilot+ PC с процессором AMD Ryzen AI 9 HX 370 . Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа. Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM.

    habr.com/ru/articles/1008080/

    #npu #copilot #ryzen_ai #windows_11

  19. NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни

    Год назад я приобрел ноутбук категории Copilot+ PC с процессором AMD Ryzen AI 9 HX 370 . Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа. Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM.

    habr.com/ru/articles/1008080/

    #npu #copilot #ryzen_ai #windows_11