#mediapipe — Public Fediverse posts

3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы

В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.

https://habr.com/ru/articles/1027980/

#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats

3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы

В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.

https://habr.com/ru/articles/1027980/

#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats

3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы

В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.

https://habr.com/ru/articles/1027980/

#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats

3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы

В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.

https://habr.com/ru/articles/1027980/

#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats

Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python

Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels

В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:

https://habr.com/ru/articles/1021278/

#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop

#Nick_Bisesi #WebXR_Engineer #EdTech_Founder #WebXR #ThreeJS #MediaPipe #anatomy #education

https://www.linkedin.com/posts/nick-bisesi_webxr-threejs-edtech-ugcPost-7438263045476331522-rPxP?utm_source=social_share_send&utm_medium=android_app&rcm=ACoAAEzXRJUBynsJc71aW-dWqfGb1qB6qdakzSg&utm_campaign=share_via

Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32

Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32

Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32

Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32

Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32

Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32

Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32

Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32

Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32

Made a #facefilter demo for our new npm package :needle:

Demo: https://stackblitz.com/edit/needle-engine-facefilter?file=src/main.ts
Source: https://github.com/needle-engine/facefilter
Npm: https://www.npmjs.com/package/@needle-tools/facefilter

More is coming next week

#webxr #webar #mediapipe #threejs #ar #needle #madewithneedle #sparkar #vite #webdev

DIY 3D Hand Controller using a Webcam and Scripting https://hackaday.com/2024/10/25/diy-3d-hand-controller-using-a-webcam-and-scripting/ #SoftwareDevelopment #PeripheralsHacks #gesturecontrol #interactive #javascript #homehacks #MediaPipe #browser #webcam #News #3d

DIY 3D Hand Controller using a Webcam and Scripting https://hackaday.com/2024/10/25/diy-3d-hand-controller-using-a-webcam-and-scripting/ #SoftwareDevelopment #PeripheralsHacks #gesturecontrol #interactive #javascript #homehacks #MediaPipe #browser #webcam #News #3d

DIY 3D Hand Controller using a Webcam and Scripting https://hackaday.com/2024/10/25/diy-3d-hand-controller-using-a-webcam-and-scripting/ #SoftwareDevelopment #PeripheralsHacks #gesturecontrol #interactive #javascript #homehacks #MediaPipe #browser #webcam #News #3d

DIY 3D Hand Controller using a Webcam and Scripting https://hackaday.com/2024/10/25/diy-3d-hand-controller-using-a-webcam-and-scripting/ #SoftwareDevelopment #PeripheralsHacks #gesturecontrol #interactive #javascript #homehacks #MediaPipe #browser #webcam #News #3d

Машинное обучение без кодинга для фронтенд-задач. Разбираем работу фреймворка MediaPipe

Меня зовут Ярослав Французяк. Я фронтенд-разработчик в GARPIX. В этой статье расскажу о таком инструменте, как фреймворк MediaPipe от Google. На основе готовых моделей он позволяет разработчикам внедрять сложные функции компьютерного зрения и обработки мультимедиа в веб-приложениях — распознавать лица, анализировать изображения, отслеживать движение, обрабатывать видео в реальном времени и многое другое. Мы разберём работу фреймворка на примере, погрузимся в векторную математику в трёхмерном пространстве и сложности распознавания ключевых точек лица.

https://habr.com/ru/companies/oleg-bunin/articles/735024/

#web_api #mediapipe #threejs #facetracker #facefamera #facecontrols #3D_сцена #фронтендразработка #webgl #webassembly

Genuary 21 & 31

On Day 21,
I used the MediaPipe library for the first time. Great fun to explore and experiment with the Hand Detector. Let's paint! 😀

On Day 31 - Generative music -

Well, generative in an analogue sense, with my beloved good old piano. 😎

#GENUARY #genuary2024 #genuary21 #genuary31 #VVVV #MadeWithVVVV #motiongraphics #motiondesign #realtime #creativecoding #generativedesign #generativeart #mediaPipe #improvisemusic #MastoArt

I am currently writing a paper about the quality of different #machinelearning based 2D/3D pose estimation systems tracking surfers.

Challenges: Black matte suits, backlight, occlusion, perspective.

Recordings in winter are cold but fun. ;-)

#mediapipe #openpose #poseestimation

Machine Learning Baby Monitor Prevents the Hunger Games - Newborn babies can be tricky to figure out, especially for first-time parents. Des... - https://hackaday.com/2022/07/23/machine-learning-baby-monitor-prevents-the-hunger-games/ #gesturerecognition #machinelearning #poseestimation #mediapipe #feeding #hunger #baby

Machine Learning Baby Monitor Prevents the Hunger Games - Newborn babies can be tricky to figure out, especially for first-time parents. Des... - https://hackaday.com/2022/07/23/machine-learning-baby-monitor-prevents-the-hunger-games/ #gesturerecognition #machinelearning #poseestimation #mediapipe #feeding #hunger #baby