Les images à 360° permettent de reconstruire un environnement d'immersion, à partir d’une série de photographies prise de manière centrée et présentant un chevauchement suffisant. Cependant, l'acquisitions d'un lieu fortement fréquenté reste un défi, dû notamment aux différents éléments mobiles dans la scène (personnes, voitures, oiseaux, etc...). Des méthodes classiques de suppression d'avant-plan existent (voir foreground substraction methods) mais demandent plusieurs acquisitions à une position fixe. De plus, avec ces méthodes, un élément de l'avant plan suffisamment présent et statique dans le champ de vue sera catégorisé comme appartenant à l'arrière-plan (pour exemple: personnes qui s'arrêtent temporairement sur une place, voitures à l'arrêt).
Pour constituer l’image panoramique 360°, un système Pan/Tilt (Panocatcher Maestro 4 HD) permet d’automatiser les acquisitions photographiques nécessaires (positionnements angulaires et déclenchements de l’appareil photographique) en fonction du chevauchement nécessaire.
Les objectifs de ce travail sont:

• De développer un outil pour reconstruire les images panoramiques, supprimant les éléments parasites de l’avant-plan et permettant des manipulations de bases (définition du centre, paramétrisation du stitching,…) ;
• D'identifier les zones de l'arrière-plan manquantes par la détection des objets masquant ces zones (voir faster RCNN, YOLO);
• D'interfacer l'outil d'acquisition afin d'acquérir les photographies nécessaires à la reconstruction d’images panoramiques et de compléter ceux-ci pour couvrir les zones manquantes (notamment dû à la présence d’objets mobiles) ;
• D’optimiser la prise de photographies pour couvrir les besoins.

Le travail comprendra également un état de l’art générale et comparé sur l’ensemble du sujet.

Contacts

Arnaud Schenkel : arnaud.schenkel@ulb.ac.be
Olivier Debeir : odebeir@ulb.ac.be