View synthesis-based 3D viewer / Visionneur d’objets 3D basé sur une synthèse de vues

  • Category: PANORAMA
  • Swimlane: 2022-2023
  • Column: Draft
  • Position: 20
  • Assignee: Arnaud Schenkel
  • Creator: Stephan
  • Started:
  • Created: 10/04/2019 11:18
  • Modified: 20/09/2021 14:34
  • Moved: 20/09/2021 14:34
  • 3D
Description

Le but du projet est de développer un visionneur WebGL d’objets 3D (navigation autour de l’objet, zoom, translation modérée) basé sur un sous-échantillon de prises de vue de l’objet et d’un synthèse de vue (interpolation) pour générer les points de vue inexistants.
La synthèse de vue se basera sur les développements existants du laboratoire LISA, complétées par des approches spécifiques. Le projet abordera notamment trois aspects :

  • La gestion des chargements : une gestion des données (la sélection, la disposition et la définition du nombre de vues en fonction de la spécificité de l’objet (concavité, complexité,…)), une approche en niveaux de détails ou multi-résolution… ;
  • La qualité (complexité, résolution, précision…) du modèle sous-jacent, nécessaire à la génération des cartes de profondeurs utilisés par la synthèse de vues ;
  • Une comparaison objective (temps de calcul, quantité de données…) et subjective (qualité visuelle) par rapport aux solutions existantes (mesh, pointcloud…).

Le problème sera abordé tout d’abord de manière virtuelle sur base d’un modèle 3D existant et ensuite par une acquisition réelle d’un objet à définir.


The goal of the project is the development of a WebGL viewer of 3D objects (navigation around the object, zoom, moderate translation) based on a sub-sample of shots of the object and of a view synthesis (interpolation ) to generate the non-existent viewpoints.
The view synthesis will be based on the existing developments of the LISA laboratory, supplemented by specific approaches. The project will address three aspects in particular:

  • Loading management: data management (selection, arrangement and definition of the number of views according to the specificity of the object (concavity, complexity, etc.)), a level-of-detail or multi-level approach resolution…;
  • The quality (complexity, resolution, precision, etc.) of the underlying model, necessary for the generation of depth maps used by the view synthesis;
  • An objective comparison (calculation time, quantity of data…) and subjective (visual quality) compared to existing solutions (mesh, pointcloud…).

The problem will be approached first virtually on the basis of an existing 3D model and then by a real acquisition of an object to be defined.


Contacts
Arnaud Schenkel : arnaud.schenkel@ulb.ac.be
Sarah Fernandes Pinto Fachada: safernan@ulb.ac.be
Gauthier Lafruit : gauthier.lafruit@ulb.ac.be

Sub-Tasks
Internal links
Comments