#mediapipe — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #mediapipe, aggregated by home.social.
-
Android Devices Now Host Large Language Models Via MediaPipe
Google's MediaPipe now lets AI models run on Android phones. This means faster AI features without needing the internet. See how it works.
#AndroidAI, #MediaPipe, #LLM, #OnDeviceAI, #GoogleAI
https://newsletter.tf/android-ai-models-mediapipe-on-device-inference/
-
AI models can now run directly on your Android phone thanks to Google's MediaPipe. This allows for faster and more private AI features, as your data doesn't need to be sent to the cloud.
#AndroidAI, #MediaPipe, #LLM, #OnDeviceAI, #GoogleAI
https://newsletter.tf/android-ai-models-mediapipe-on-device-inference/ -
3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы
В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.
https://habr.com/ru/articles/1027980/
#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats
-
3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы
В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.
https://habr.com/ru/articles/1027980/
#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats
-
3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы
В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.
https://habr.com/ru/articles/1027980/
#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats
-
3D-кино с трекингом глаз: технический разбор моей реализации и открытые вопросы
В моей коллекции лежат фильмы в формате Top-Bottom стереопары. Без 3D-телевизора или VR-очков смотреть их без потерь нельзя. Поляризованные очки и активные затворы на десктопе работают плохо или дорого. Анаглифные красно-синие очки убивают цвет. Хотелось третьего варианта — смотреть на обычном мониторе, без очков, с минимальным железом. Идея, на которую опирался: head-coupled perspective, известный с 2008 года по знаменитому Wii-демо Johnny Chung Lee. В октябре 2025 бывший инженер Meta Daniel Habib опубликовал True3D — head-tracked Window Mode, где экран ведёт себя как окно в 3D-сцену. У них под капотом MediaPipe FaceLandmarker + iris tracking + off-axis projection matrix + volumetric scene на Gaussian splats. Я попробовал перенести подход на готовую Top-Bottom стереопару из коммерческих фильмов. И тут начались интересные компромиссы. В статье — технический разбор моей реализации: пайплайн сглаживания трекинга в четыре ступени (EMA + velocity buffer + jump threshold + adaptive scaling), predictive tracker на double exponential smoothing (метод Холта) для компенсации end-to-end лага в 65 ms, фрагментный шейдер на GLSL с view switching и blend zone через smoothstep, попытка извлечения disparity через OpenCV StereoSGBM. Подробное сравнение моего подхода и True3D с таблицей: где в их волюметрической архитектуре получается то, что у меня в принципе невыводимо из двух фиксированных 2D-видов. Финал — пять документированных проблем (jitter на резких движениях, ghosting в blend zone, потеря половины разрешения, латентность, UV-параллакс vs настоящий off-axis) и шесть открытых вопросов к читателю: про DepthAnything в WebGPU+ONNX, про RIFE/DAIN как view-интерполяторы, про DIBR на compute shader, про принципиальную возможность восстановить volumetric scene из стереопары в реальном времени.
https://habr.com/ru/articles/1027980/
#head_tracking #MediaPipe #Threejs #WebGL #GLSL #стереопара #offaxis_projection #3Dвидео #True3D #Gaussian_splats
-
Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python -
Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python -
Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python -
Projet 1re / Tle #NSI : Air Pyxel
#MediaPipe + #Pyxel + #Python -
Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels
В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:
https://habr.com/ru/articles/1021278/
#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop
-
Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels
В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:
https://habr.com/ru/articles/1021278/
#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop
-
Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels
В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:
https://habr.com/ru/articles/1021278/
#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop
-
Я научил виртуальную камеру быть оператором: как устроен алгоритм face tracking для Shorts/Reels
В предыдущей статье я подробно рассказывал про свой "аниме завод" — пайплайн, который автоматически превращает эпизоды в готовые Shorts. Но внутри этой системы есть один особенно важный узел, который заслуживает отдельного разбора: виртуальная камера для автоматического кадрирования. В этой статье я разберу не просто "функцию автокропа", а полноценный алгоритм виртуальной камеры для вертикального видео. Это тот случай, когда задача на первый взгляд кажется простой: есть горизонтальный ролик, нужно сделать 9:16, удержать человека в кадре и не превратить результат в дёрганый автофокус из начала 2010-х. Но как только начинаешь делать это не для демо, а для реального пайплайна, сразу всплывают инженерные проблемы:
https://habr.com/ru/articles/1021278/
#face_tracking #virtual_camera #MediaPipe #YuNet #Haar_Cascade #OpenCV #Shorts #Reels #computer_vision #auto_crop
-
Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html -
Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html -
Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html -
Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html -
Another neuro tool you never asked for. A #brain #Tractography visualizer in #Threejs animated by #mediapipe. The tractography is not real, those are just drawn lines.
Demo and source code: https://www.alessandrocrimi.com/ar/brain-tractography.html -
MediaPipeのランドマーク検出でマスクをした人の顔がどのように判定されるか調べてみた
https://qiita.com/ssc-karasawa/items/70991a5ac68ad1f6dc61?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
MediaPipeのランドマーク検出でマスクをした人の顔がどのように判定されるか調べてみた
https://qiita.com/ssc-karasawa/items/70991a5ac68ad1f6dc61?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Шпаргалка по инференсу на С++
Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.
https://habr.com/ru/articles/986204/
#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11
-
Шпаргалка по инференсу на С++
Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.
https://habr.com/ru/articles/986204/
#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11
-
Шпаргалка по инференсу на С++
Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.
https://habr.com/ru/articles/986204/
#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11
-
Шпаргалка по инференсу на С++
Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.
https://habr.com/ru/articles/986204/
#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11
-
failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding -
failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding -
failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding -
failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding -
failed #mediapipe experiment... Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_11_02
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work:
https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724
https://liberapay.com/Villares
https://wise.com/pay/me/alexandrev562 #Processing #Python #py5 #CreativeCoding -
Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #SecurityHacks #RaspberryPi5 #RaspberryPi #MediaPipe #doorlock #ESP32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32
-
Hack Swaps Keys for Gang Signs, Everyone Gets In - How many times do you have to forget your keys before you start hacking on the problem? F... - https://hackaday.com/2025/07/02/hack-swaps-keys-for-gang-signs-everyone-gets-in/ #gesturecontrol #securityhacks #raspberrypi5 #raspberrypi #mediapipe #doorlock #esp32
-
-
-
-
-
