#mediapipe — Public Fediverse posts

Веб-портфолио с управлением жестами через камеру: полевой дневник

Я продуктовый дизайнер. И мне захотелось поэкспериментировать: можно ли уже сейчас сделать полноценное управление сайтом с помощью жестов. Да и ИИшки уже стали достаточно мощными. Так родился этот эксперимент. Для контента взял свое портфолио. Получилось вот что. Страница встречает полем из частиц. Разрешаешь камеру, и частицы собираются в твоё объёмное отражение. Разделы висят вокруг силуэта и открываются рукой: наводишь палец, пункт заполняется и раскрывается. Текст листается щипком, фотографии берутся в кулак и растягиваются двумя руками. Дизайн при этом намеренно тихий: монохром, костяная типографика на чёрном, единственный цвет живёт внутри 3D-формы. Вся выразительность отдана взаимодействию. Дальше — грабли по порядку наступания.

https://habr.com/ru/articles/1058358/

#жесты #mediapipe #webgpu #transformersjs #threejs #вебкамера #депткарта #claude_code #design

free AI girlfriend. Почему мужчины уходят из экономики отношений и как устроен пространственный 3D-аватар в браузере

Если оглянуться вокруг, можно заметить что практически вся физическая и цифровая инфраструктура, которой мы пользуемся ежедневно — дороги, дома, электростанции, системы водоснабженияи канализации, интернет — спроектирована, построена и обслуживается преимущественно мужчинами. При этом, согласно макроэкономической статистике, структура перераспределения капитала выглядит иначе. Возникает логичный вопрос: как именно распределяются финансовые потоки в обществе и почему традиционная «экономика отношений» сегодня превратилась в систему с крайне сомнительной окупаемостью инвестиций (ROI) для мужчин? Давайте отбросим эмоции и посмотрим на сухие цифры, а затем разберем, как инженерные технологии позволяют создать альтернативу — полностью бесплатного пространственного 3D-компаньона, работающего прямо в браузере.

https://habr.com/ru/articles/1046221/

#threejs #javascript #vrm #gemini_api #mediapipe #искусственный_интеллект #параллакс #ai_companion #вебразработка #3dграфика

Жесты вместо горячих клавиш: подключаем ИИ к веб-камере

Наткнулся на старую веб-камеру, которая валялась без дела. Дешевый вариант с посредственным качеством. С такой камерой не стать звездой онлифанс. Но выкидывать жалко. Пришла в голову мысль — почему не соорудить управление жестами для компьютера? Полноценное управление компьютером, как в фильмах с Томом Крузом, пока остаётся фантастикой: руки затекают, случайные движения превращаются в случайные команды. А вот привязать к жестам пару действий — выключить звук, свернуть окна, прокрутить ленту — реально и за один вечер. Понадобится старая веб-камера, Python и готовые модели Google. В статье — пошаговая сборка, разбор кода и инструкция, как обучить модель реагировать на жесты.

https://habr.com/ru/companies/first/articles/1043890/

#python #opencv #mediapipe #машинное_обучение #жесты #нейронные_сети #нейросети #искусственный_интеллект

Удаляем фон и замазываем лица прямо в браузере: ONNX Runtime, MediaPipe и грабли Service Worker

TL;DR. Две нейросетевые задачи — удаление фона (ONNX Runtime Web + модель silueta) и замазывание лиц (MediaPipe Tasks Vision + BlazeFace) — запущены полностью на клиенте: ни один пиксель не уходит на сервер. Ниже — почему «в браузере», какие модели выбраны и почему, как тянуть 43-мегабайтную модель с прогресс-баром, почему лица лучше пикселизировать, чем размывать, и подробный разбор бага, на который я убил вечер: Service Worker, кэширующий .mjs / .wasm , ломает dynamic import() с ошибкой «Failed to fetch dynamically imported module».

https://habr.com/ru/articles/1042598/

#ONNX_Runtime #MediaPipe #WebAssembly #нейросети_в_браузере #удаление_фона #замазывание_лиц #Service_Worker #privacy #обработка_изображений_на_клиенте #dynamic_import

Android Devices Now Host Large Language Models Via MediaPipe

Google's MediaPipe now lets AI models run on Android phones. This means faster AI features without needing the internet. See how it works.

#AndroidAI, #MediaPipe, #LLM, #OnDeviceAI, #GoogleAI

https://newsletter.tf/android-ai-models-mediapipe-on-device-inference/

AI models can now run directly on your Android phone thanks to Google's MediaPipe. This allows for faster and more private AI features, as your data doesn't need to be sent to the cloud.

#AndroidAI, #MediaPipe, #LLM, #OnDeviceAI, #GoogleAI
https://newsletter.tf/android-ai-models-mediapipe-on-device-inference/

3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы

В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.

https://habr.com/ru/articles/1027980/

#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats

Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python

Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels

В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:

https://habr.com/ru/articles/1021278/

#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop

#Nick_Bisesi #WebXR_Engineer #EdTech_Founder #WebXR #ThreeJS #MediaPipe #anatomy #education

https://www.linkedin.com/posts/nick-bisesi_webxr-threejs-edtech-ugcPost-7438263045476331522-rPxP?utm_source=social_share_send&utm_medium=android_app&rcm=ACoAAEzXRJUBynsJc71aW-dWqfGb1qB6qdakzSg&utm_campaign=share_via

Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html

I wanted to create website - sign language dictionary.

I have around 3k clips (up to 7 s) with many signs and wanted to generate interactive (rotatable, slowed down or speed up, reversable) animations to publish on website.

At the moment I plan to use MediaPipe Holistic which would generate .json for posture, hands and face movement. Next I want to use RDM, React and Three.js to show model on webpage.

Is there better or more optimal approach to this?

#SignLanguage #mediapipe

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding