Multi-camera pose estimation using MediaPipe

  • Swimlane: Current
  • Column: Assigned
  • Position: 2
  • Assignee: Olivier Debeir
  • Creator: Olivier Debeir
  • Started:
  • Created: 28/09/2022 11:33
  • Modified: 02/11/2022 15:46
  • Moved: 02/11/2022 15:45
Description
Objet : Intégration d'un système de motion capture dans le Sam.
Le Sam est un dispositif médical multisensoriel qui génère des environnements calculés en temps réel, basés sur les besoins émotionnels des patients.
Afin de générer des feedbacks en fonction des mouvements du patient, un dispositif de computer vision va être intégré à l’architecture existante du Sam.

Le système de capture doit répondre aux objectifs suivants :
- Captation sur un seul individu à la fois.
- Système capable de fonctionner avec une luminosité variable
- Le patient est susceptible de tourner à 360°. Dans la mesure du possible, le système d'aquisition doit prendre en compte les angles morts. (Triangulation avec plusieurs caméras, par exemple).
- Le degré de précision de la captation ne doit pas être 100% accurate.

Le projet tourne sur le moteur de rendu 3D Unreal Engine 5 (c++). Le framework mediapipe semble le bon candidat pour l'aquisition des données, mais des questions subsistent concernant la capture de la profondeur et des angles morts.

www.inmersiv.com - maxime@inmersiv.com

Sub-Tasks
Internal links
Comments