Publications > Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés ; Interprétation et rendu réaliste des mouvements d’un modèle humanoïde en temps réel
Sujet
Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés ; Interprétation et rendu réaliste des mouvements d’un modèle humanoïde en temps réel
Doctorant
Mots clés
Capture de mouvements sans marqueurs, capture non invasive.
Segmentation en milieu non contrôlé.
Contextualisation : définition et codification de mouvements stéréotypés ; création d’un corpus de référence ; structuration des données - stockage des mouvements ; indexation ; accès temps réel.
Rétroaction vers la capture de mouvements : notion de distance entre le mouvement détecté et le mouvement supposé d’un corpus de référence ; amélioration de la précision du suivi. Tentative de prédiction du mouvement et adaptation du système face à celui-ci.
Reconstruction 3D d’un modèle humanoïde déformable, milieu immersif, interaction avec un
environnement virtuel 3D.
Résumé
La capture de mouvements est une des techniques les plus utilisées dans le domaine de l’animation 3D, permettant d’obtenir rapidement la description précise de séquences de mouvements et sous de multiples formats. Ces séquences peuvent être, par exemple, utilisées pour animer de manière réaliste un personnage 3D. Parallèlement, de nombreuses études ont été menées pour analyser et reconnaitre automatiquement un mouvement donné par simple traitement du signal vidéo.
L’objectif de cette thèse est de combiner ces deux champs de recherche. A partir d’un système de capture de mouvements déjà existant, le Cyberdôme de la société XD Productions, les mouvements d’un acteur filmé par plusieurs caméras seront non seulement codés puis reproduits, mais aussi analysés et interprétés, chaque geste étant alors replacé dans un contexte, donc dans un corpus de référence, particulier. Ainsi, le système comparera le mouvement effectué avec le mouvement attendu en fonction de ce contexte et s’adaptera alors au comportement de l’acteur.
Si cette notion de ‘distance’ entre les deux mouvements est trop importante, le système guidera la personne filmée vers le mouvement attendu, par le biais d’une immersion dans un environnement 3D (effets visuels, sonores, etc.).
Enfin, la technologie de XD Productions permettra la reconstruction, la déformation et le rendu réaliste, en temps réel, d’un modèle humanoïde 3D au gabarit de l’acteur.
Financement
Convention CIFRE avec la société XD Productions