#inference_platform — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #inference_platform, aggregated by home.social.
-
Засовываем VLA на гуманоида: как выбрать платформу, модель и планировщик
Год назад на проекте гуманоида с Jetson Orin на борту меня регулярно спрашивали одно и то же. “Можно ли гонять нашу VLA локально, без сети?” VLA это модель. Она берёт кадр и текст и выдаёт команды на приводы. Я листал документацию, тикеты PyTorch и чужие статьи, а когда разобрался, ответил пересчётом. “Теоретически да, но от кадра до движения выходит 0,84 с. Робот за это время успеет упасть, а пользователь решит, что он завис.” После того гуманоида ко мне не раз приходили за помощью в проектировании. Чаще это была детекция на 30 FPS на плате за $10 или передовая LLM на устройстве. Нужна документация, местами китайская, которую приходится гонять через переводчик, и нужны подробные инженерные расчёты. Пиковые тераоперации из даташита почти не двигают задержку от кадра до движения.
https://habr.com/ru/articles/1059204/
#edge_AI #NPU #MobileNet #LLM_на_устройстве #memory_wall #compute_crunch #inference_platform #embedded #ml #выбор_платформы
-
Как AI VK построили единую платформу для рекомендаций, поиска и рекламы в продуктах с многомиллионной аудиторией
Привет! На связи команда рекомендаций AI VK. Фактически в каждом продукте есть и рекомендации и поиск, и чтобы каждой команде не приходилось изобретать свой «велосипед», мы разработали единую Discovery-платформу. С ней команды могут «по кнопке» запускать рекомендации, тестировать модели, а также делиться лучшими решениями. В статье поделились подробностями о том, что из себя представляет единая Discovery-платформа и какие результаты уже заметны. Переходите под кат, будет интересно ⬇️ Про Discovery-платформу
https://habr.com/ru/companies/vk/articles/990514/
#ai_vk #discovery #discoveryплатформа #Stream_Flow #Profile_Stream #Cloud_Training #Discovery_Runtime #Feature_Flow #Inference_Platform #Retrieval
-
Где живут LLM: разбираем инференс-кластер YADRO и тестируем его производительность
Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер
https://habr.com/ru/companies/yadro/articles/930304/
#llm #vllm #litellm #inference_platform #инференс_моделей #большие_языковые_модели
-
Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании
Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в Центре технологий VK. Сегодня хочу поделиться опытом по одной достаточно прикладной, но весьма увлекательной теме — разработке командной строки (CLI) на Go. Платформа для инференса ML-моделей (inference platform) у нас молодая, ей всего лишь полгода, и мы активно расширяем команду. Так что, если вы хотите писать сервисы на Go с нуля, то приходите к нам, у нас найдутся задачи на любой вкус.