Soutenances > Contextualisation & Capture de Gestuelles Utilisateur Contributions à l’adaptativité des applications interactives scénarisées
Contextualisation & Capture de Gestuelles Utilisateur .
Contributions à l’adaptativité des applications
interactives scénarisées
François Picard
Thèse soutenue le 11 Juillet 2011
Directeur de thèse : Pascal Estraillier
Mots clés : Interactivité, adaptativité, contexte, temps réel, capture de gestuelles non invasive en milieu non contrôlé, caractérisation et interprétation d’activité, jeu vidéo.
Résumé : Depuis 50 ans, une évolution permanente de l’interaction homme-machine a permis
qu’aujourd’hui, nous tendions vers des systèmes temps réel proposant une interaction simple
et intuitive à l’utilisateur et s’adaptant automatiquement à l’activité observée et interprétée.
L’utilisateur peut dorénavant interagir avec un système informatique, volontairement ou de
manière non consciente, par le biais de plusieurs modalités, comme il ferait dans la vie
courante.
Actuellement, les systèmes les plus développés sont ceux permettant à l’utilisateur d’interagir
par le biais de gestuelles, qu’elles soient explicites ou implicites. Ces systèmes sont intégrés
de plus en plus dans notre environnement, la plupart du temps invisibles pour nous, et
s’adaptent en fonction d’un scénario qui définit les objectifs que nous devons atteindre.
Plusieurs domaines d’application sont le cadre du développement de tels systèmes, comme
celui du jeu vidéo ou encore de la surveillance vidéo.
Nous proposons, dans ces travaux de thèse, l’architecture d’un système interactif, sur lequel
s’exécute une application scénarisée de type jeu vidéo.
L’interactivité est alimentée par les gestuelles du corps d’un unique utilisateur, en temps réel
et de manière non invasive. Le système réagit également à divers événements prenant place au
sein de la scène réelle, qui sont dus au dynamisme de cette dernière et dont l’utilisateur n’est
pas directement responsable (changement d’éclairage, présence de spectateurs, etc.).
L’utilisateur est immergé au sein d’un environnement virtuel qui traduit la réponse interactive
du système. Ce dernier répond également, en temps réel, à l’activité observée et interprétée,
de manière adaptative, adaptant à la fois sa réponse interactive et son fonctionnement global.
Nos travaux se basent sur l’hypothèse que l’activité observée au sein de la scène est
caractérisée par le contexte d’interaction qui l’englobe. Notre système reconnaît ainsi
l’activité en modélisant le contexte d’interaction au sein duquel elle prend place. Notre
contribution principale se traduit donc par l’introduction de la notion de contexte au sein des
processus interactif et adaptatif. La modélisation du contexte d’interaction que nous
proposons nous a servi de base pour celle du scénario d’une application. La gestion et
l’analyse de ce contexte au cours de l’interactivité permettent au système d’interpréter
l’activité observée et de paramétrer les différents mécanismes adaptatifs qui en découlent.
L’activité est capturée et codifiée par un système étendu, adopté en accord avec le cadre
industriel de cette thèse (convention CIFRE avec la société XD Productions). Initialement
dédié à la capture, invasive et en milieu contrôlé, des mouvements de l’utilisateur, nos travaux
ont permis l’augmentation du processus vers une capture plus générale de l’activité globale,
de manière non invasive et en environnement dynamique.
Enfin, nous avons développé une application immergeant l’utilisateur au sein d’une
simulation virtuelle d’entrainement au tennis. Par le biais d’études de cas extraites de ce
scénario, nous avons implémenté les processus interactif et adaptatif prenant place entre le
système et l’utilisateur. L’adaptativité du système, supportée par le scénario de l’application,
est concrétisée par la mise en place de mécanismes spécifiques à tous les niveaux de
l’architecture, en fonction de l’activité observée et interprétée. Nous mettons en évidence un
ensemble de boucles logicielles, appelées « boucles vertueuses », générées par l’accumulation
des effets d’adaptation du système et améliorant en permanence l’interactivité.
Les perspectives à ces travaux de thèse concernent la formalisation et la gestion haut niveau
de notre modèle de contexte, la complexification de notre scénario et l’amélioration de notre
système de capture dans le cadre de nouvelles applications scénarisées.