#edge_ai — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #edge_ai, aggregated by home.social.
-
Засовываем VLA на гуманоида: как выбрать платформу, модель и планировщик
Год назад на проекте гуманоида с Jetson Orin на борту меня регулярно спрашивали одно и то же. “Можно ли гонять нашу VLA локально, без сети?” VLA это модель. Она берёт кадр и текст и выдаёт команды на приводы. Я листал документацию, тикеты PyTorch и чужие статьи, а когда разобрался, ответил пересчётом. “Теоретически да, но от кадра до движения выходит 0,84 с. Робот за это время успеет упасть, а пользователь решит, что он завис.” После того гуманоида ко мне не раз приходили за помощью в проектировании. Чаще это была детекция на 30 FPS на плате за $10 или передовая LLM на устройстве. Нужна документация, местами китайская, которую приходится гонять через переводчик, и нужны подробные инженерные расчёты. Пиковые тераоперации из даташита почти не двигают задержку от кадра до движения.
https://habr.com/ru/articles/1059204/
#edge_AI #NPU #MobileNet #LLM_на_устройстве #memory_wall #compute_crunch #inference_platform #embedded #ml #выбор_платформы
-
Как я учил модель прогнозировать погоду по одной метеостанции — и почему она сначала выучила все наизусть
Это история про пет-проект, который я делал ради трёх вещей одновременно: прогноз приземной температуры на неделю вперёд из данных одной метеостанции, честные интервалы неопределённости вместо голой точки, и работа на железе уровня Raspberry Pi без всякого GPU. По дороге я несколько раз ошибся, один раз откатил целый эксперимент, и в итоге понял про свою же модель больше, чем когда её проектировал. В прошлых статьях я допустил множество ошибок, которые выявил при более глубоком исследовании возможностей модели. Их оказалось слишком много, я сам в них утонул, поэтому решил начать все с чистого листа, но с некоторыми пометками. Здесь не будут упоминаться прошлые версии, представим как будто их и не было. Код лежит в репозитории (ссылка в конце). Данные не выкладываю, брал часовые ряды из Open-Meteo, их можно тянуть самому; в репозитории есть синтетический генератор, чтобы прогнать весь конвейер за пару минут.
-
4.6-битные сети: от теории к практике. Причём здесь HardTanh?
Уже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два . Вспомним, что при 4.6-битном квантовании веса и входы слоя принимают такие целые значения, что их попарные произведения помещаются в знаковый 8-битный тип данных. Такая схема позволила нам вычислять нейронные сети на процессорах мобильных устройств быстрее, чем в 8-битном формате, и точнее, чем в 4-битном, потому что уровней квантования больше. За прошедшее время у нас появился опыт практического применения таких сетей, и оказалось, что для реального использования важны не только схема квантования и алгоритм умножения. Не меньше вопросов возникает по поводу того, как устроены активации, как хранить карты признаков между слоями, как обрабатывать ветвления и как именно обучается квантованная сеть. Сегодня в статье как раз поговорим про это.
https://habr.com/ru/companies/smartengines/articles/1052222/
#нейронные_сети #квантование #инференс #низкоразрядные_вычисления #resnet #edge_ai #мобильный_ии #HardTanh #46битное_квантование
-
VSA, которого не было: первый reasoner на 16 КБ без LLM
Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор. Всё на CPU, ни одного GPU.
https://habr.com/ru/articles/1050606/
#TernaT #VSA #нейронный_резонатор #TinyML #микроконтроллеры #Edge_AI #reasoning #STM32
-
Нейросеть за 50 центов (~36 ₽): TernML, тернарный ИИ без FPU
В прошлый раз я рассказал про GraphKAN, первую тернарную KAN с весами {-1, 0, +1}, которая выдала 96.15% на MNIST при 15 КБ. ( ссылка ). С тех пор проект переродился. Рассказываю, что изменилось и почему.
https://habr.com/ru/articles/1049940/
#TernML #тернарные_нейросети #TinyML #микроконтроллеры #квантизация #QAT #Edge_AI #STM32
-
Тернарный KAN: не баг, а фича — почему дискретные веса работают лучше
Это продолжение поста “Две нейросети по 15 КБ” - там были базовые цифры. А тут уже личная история: как делалось, что пошло не так, и что выяснилось по пути. Май 2024 года. Выходит статья “KAN: Kolmogorov-Arnold Networks”. И происходит то, что бывает раз в несколько лет - кто-то предлагает альтернативу MLP. Не модификацию и не лайфхак - альтернативу. В MLP каждый нейрон делает weight × input + bias , и все 80 лет развития - это вариации на тему “как сделать этот вес точнее, быстрее, разреженнее”. KAN предлагает другое: заменить линейный вес на обучаемую функцию. Вроде мелкий трюк, а на практике - меньше параметров при той же точности и встроенная интерпретируемость. К 2026 году уже появились QuantKAN (4-битное квантование), KANtize (2-3-битные B-spline таблицы), BiKA (аппаратный акселератор, вдохновленный KAN). И все они, по сути, про одно - сделать KAN меньше, чтоб работал не только на GPU. Граница в три бита - она же психологическая. Ниже 4 бит у всех начинается «а вдруг всё сломается». И знаете что? Обычно так и есть. Любой, кто квантовал нейросети в 2 бита, знает: точность падает. Не чуть-чуть - катастрофически. Но {-1, 0, +1} - это даже не два бита, это log₂(3) ≈ 1.58 бита. Формально - между binary и ternary, а по ощущениям - чистое безумие. Ну я и решил попробовать.
https://habr.com/ru/articles/1049822/
#KAN #KolmogorovArnold_Networks #тернарные_веса #квантование #QAT #TinyML #Edge_AI #MNIST #регуляризация #STM32
-
Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM
Тернарный KAN 15.4 КБ с точностью 96.15% на MNIST и система многошагового рассуждения VSA‑Reasoner без LLM с 90% точностью. Оба изобретения используют тернарные веса {-1,0,+1}, работают на CPU и упаковываются в десятки килобайт.
-
Смогут ли микроконтроллеры с NPU заменить облако для распознавания речи?
Голосовые ассистенты работают удобно, но почти всегда через облако: нужна сеть, есть задержка, и речь уходит на внешние серверы. На устройстве обычно либо примитивный команды, либо слишком тяжёлая платформа. Я проверил, можно ли закрыть этот разрыв на микроконтроллере STM32N6 со встроенным NPU : распознавать произвольную речь локально , в реальном времени и с потреблением около 0.2 Вт .
https://habr.com/ru/articles/1022384/
#stm32 #stm32n6 #npu #mcu #микроконтроллеры #распознавание_речи #edge_ai #машинное_обучение #нейросети #tinyml
-
Улучшение нейросетевого прогноза температуры воздуха
Всем привет! В этой статье расскажу про свои ошибки и новшества во время работы над проектом, а точнее его улучшением. Эта статья является продолжением серии статей про данный проект. Речь пойдет о моем проекте edge-weather-forecast — лёгкой нейросетевой модели прогнозирования температуры, которую можно запускать прямо на метеостанции или на простом CPU-устройстве вроде Raspberry Pi.
https://habr.com/ru/articles/1005428/
#edge_ai #нейросеть_локально #прогноз_погоды #нейросеть_прогноз_погоды
-
Как я перестал писать код для микроконтроллеров вручную и подружил ESP32C6 с AI (Опыт создания платформы)
Привет, Хабр! Меня зовут Александр Воробьев. За моими плечами разработка более 100 электронных устройств , пуско-наладка АСУ ТП и множество проектов, где нужно было "прикрутить" датчик к микроконтроллеру, написать веб-интерфейс и заставить это всё работать вместе. Каждый раз — это горы кода, даташитов и времени . В какой-то момент я задался вопросом: а можно ли автоматизировать этот процесс ? Чтобы инженер думал над архитектурой, а не над синтаксисом? В этом посте я поделюсь своим путем создания инструмента, который позволяет собирать сложные IoT-системы за минуты с помощью AI-агента, и покажу это на реальных кейсах.
https://habr.com/ru/articles/1002110/
#aiot #iot #ai #ииагенты #ии #esp32 #электроника #программирование_микроконтроллеров #edge_ai #tiny_ml
-
Нейросетевой прогноз погоды для edge-устройств
Всем привет! Хочу рассказать не столько про свою модель, сколько про инженерные компромиссы, с которыми я столкнулся во время работы над проектом. Буду рад любой критике. Речь пойдет о моем проекте edge-weather-forecast — лёгкой нейросетевой модели прогнозирования температуры, которую можно запускать прямо на метеостанции или на простом CPU-устройстве вроде Raspberry Pi.
-
Что я вынес из Oxford Machine Learning Summer School 2025
Побывал на Oxford Machine Learning Summer School 2025 — одной из крупнейших летних школ, посвящённых искусственному интеллекту, проходившей в самом центре Оксфорда. В течение четырёх дней мы слушали лекции исследователей из DeepMind, Hugging Face, Amazon, Google, ученых топовых европейских вузов. Обсуждали foundation models, reinforcement learning, generative AI и on-device ML. В статье делюсь своими впечатлениями и кратким пересказом программы, отражающей мировые тренды в развитии современного машинного обучения.
https://habr.com/ru/articles/956138/
#машинное_обучение #llm #computer_vision #multimodal_llm #generative_ai #reinforcementlearning #edge_ai #diffusion_models #образование_в_it #oxford
-
Edge AI: революция ИИ на периферийных устройствах, или Почему облачных вычислений уже недостаточно
Начиная с 2009–2010 годов в мире идет стремительное развитие интернета вещей (internet of things, IoT). Устройства IoT собирают данные и передают их для обработки и анализа в централизованные облачные системы. Однако по мере роста числа таких устройств стали появляться серьезные проблемы. Во-первых, при большом количестве устройств, каждое из которых генерирует значительный объем данных — например, камер видеонаблюдения с постоянной записью в 4K, — возникает проблема ограниченной пропускной способности. Возникает необходимость в выделенном широкополосном канале. Во-вторых, передача данных от устройства к «облаку» сопровождается временными задержками, которые могут быть критически опасными для приложений в некоторых сферах. Кроме того, в некоторых условиях, например в сельской местности, интернет-соединение может быть медленным или нестабильным, что увеличивает время отклика. В-третьих, отправка данных в «облако» сопряжена с вопросами обеспечения конфиденциальности.
https://habr.com/ru/companies/pt/articles/936254/
#edge_computing #edge_ai #iot #интернет_вещей #облачные_вычисления #облако
-
Почему крупный бизнес бежит от ChatGPT на «железки» за $150
ChatGPT стоит дорого, требует постоянного интернета и может внезапно отключиться. Альтернативой становятся компактные Edge-устройства, способные работать автономно. Но действительно ли локальное железо может конкурировать с облачными гигантами? Антон Мальцев знает ответ на этот вопрос. ML Lead в ArtSign и основатель RemiBrain, он с 2014 года развертывает решения компьютерного зрения и ИИ на тысячах Edge-устройств — от городских камер до промышленного оборудования. За десять лет накопил уникальный опыт сравнения облачных и локальных решений в реальных проектах.
https://habr.com/ru/articles/914854/
#ai #rockchip #edge_ai #open_source_llm #jetson #jetson_tx1 #chatgpt #иимодель #ии_чатбот #ииинжиниринг
-
[Перевод] Преимущества Edge AI (из Отчёта о технологиях EDGE AI за 2023 год)
Edge AI, созданный благодаря последним достижениям в области искусственного интеллекта, приводит к значительным изменениям в современном технологическом ландшафте. Обеспечивая вычисления вблизи источника данных, Edge AI повышает скорость реагирования, повышает безопасность и конфиденциальность, способствует масштабируемости, обеспечивает распределенные вычисления и повышает экономическую эффективность. Компания Wevolver в сотрудничестве с отраслевыми экспертами, исследователями и поставщиками технологий подготовила подробный отчет о текущем состоянии Edge AI. В этом отчёте рассматриваются его технические аспекты, области применения, проблемы и будущие тенденции. В нем объединены практические и технические идеи профессионалов отрасли, что поможет читателям понять и сориентироваться в развивающемся ландшафте Edge AI.
-
OrangePi AiPro — гайд и обзор
Я не знаю как правильно назвать обзор/гайд про эту плату. Самая китайская плата? Самая загадочная? Самая неоднозначная? В любом случае - одна из самых интересных! Поговорим про OrangePi AIpro, плату от запрещённой в половине мира Huawei.
https://habr.com/ru/companies/recognitor/articles/826280/
#orangepi #AiPro #neuralnetworks #computer_vision #Edge_Ai #NPU