Laboratoire Informatique, Image et Interaction (L3i)

Titre : Interaction avec les médias / médias interactifs par analyse informée.
Résumé : Aujourd’hui, lorsqu’on écoute un morceau de musique ou lorsqu’on regarde une image, ces derniers sont fixés / figés, et nous les percevons de manière passive.
Comment rendre possible une écoute ou une visualisation actives de ces médias, permettant une interaction avec l’auditeur ou le spectateur ?
Imaginez des scènes sonores musicales dans lesquelles l’auditeur peut manipuler séparément les différentes voix et les différents instruments : modification de volume, de position dans l’espace, de timbre, de hauteur de note, etc. Imaginez également des images dans lesquels le spectateur peut déplacer les sources lumineuses, ou bien changer la distance focale pour faire la mise au point sur l’objet de son choix.
C’est possible en théorie dans une certaine mesure par la résolution de problèmes inverses / l’analyse de contenus. Mais l’erreur engendrée est souvent trop grande pour des applications en pratique.
Pour maîtriser cette erreur, nous avons proposé dans le projet ANR DReaM une nouvelle approche, dite informée, qui consiste à insérer de manière imperceptible (tatouage) une information complémentaire de taille minime (compression) permettant de littéralement décomposer la musique fixée sur support (CD audio par exemple) ou une version dématérialisée ("numérique"). Cette approche, mélangeant théorie de l’estimation et théorie de l’information, permet de contrôler la qualité de la solution d’un problème inverse.
Dans le cas de la musique, les informations nécessaires sont fournies par le compositeur, le studio d’enregistrement, voire l’auditeur lui-même. Dans le cas des images, on peut par exemple faire appel à des dispositifs de prise de vues originaux.
Dans cette approche informée, on dispose d’un encodeur et d’un décodeur.
À l’encodeur, tout est connu : le médium final, la problématique d’interaction souhaitée, ainsi que la solution... Il s’agit alors pour l’encodeur de déterminer l’information minimale à adjoindre au médium afin de permettre l’interaction avec le niveau de qualité souhaité. Ensuite, cette information est insérée de manière imperceptible (inaudible ou invisible) par tatouage dans le médium (son ou image), qui devient alors (inter)actif alors même qu’il est toujours dans un format classique (Wave, MP3, PPM, JPEG, etc.).
Si un lecteur classique peut toujours jouer ou afficher le médium de manière classique, passive, le décodeur associé à l’encodeur (lecteur actif) est capable d’extraire l’information supplémentaire et de s’en servir pour permettre l’interaction désirée avec le médium (son ou image).
Les applications de ces médias interactifs sont nombreuses, allant de l’apprentissage musical à la muséographie numismatique, en passant par les "serious games" ou la reconnaissance automatique.