Stages Master 2 (2009) > Stage proposé n°4
Sujet Stage :
Segmentation de planches de bandes dessinées – Extraction d’éléments caractéristiques.
Résumé du travail proposé :
Le stage est un premier travail de segmentation de planches de bandes dessinées. Chaque planche est découpée en cases (de taille et en nombre variable) où se situe l’action de l’histoire. Le travail consistera à extraire dans un premier temps les cases. Chaque case sera caractérisée en termes de position sur la planche, de dimension, de forme. Ces éléments serviront à alimenter une base de données adaptée dont il faudra définir la structure. Ces bases de données seront utilisées dans la suite du projet et notamment pour la définition d’ontologie (travail ultérieur qui n’est pas à réaliser ici).
En fonction du temps restant, les données obtenues au cours de cette première tâche pourront servir de point d’entrée pour extraire de chacune des cases d’une part les bulles et les zones de texte.
Mots clés :
Analyse d’images, extraction d’élément graphique, segmentation, analyse de textures
Informations complémentaires :
Encadrants: Jean-Marc Ogier, Jean-Christophe Burie
Axe thématique : Données complexes, Images et Documents
Axe stratégique : Pertinence Contenu-Interaction
Cadre de coopération :Coopération potentielle avec Aquafadas
Date de début du stage : 1er février 2011
Durée du contrat : 5 mois
Contexte de l’étude:
Les bandes dessinées francophones et internationales représentent un patrimoine culturel important. De nombreux processus de numérisation massive de ces bandes dessinées sont envisagés au plan national et international.
La numérisation et la valorisation de ces contenus génère dès lors des besoins d’outils d’indexation iconographiques permettant de naviguer dans les masses documentaires associées. Ces outils d’indexation permettront d’offrir de nombreux services numériques, tels que la recherche d’images par le contenu (retrouver des dessins particuliers), ou encore la mise en mouvement des objets ou des personnages dans le cadre de systèmes interactifs.
D’autre part, l’essor de dispositifs tels que les iPhone (ou smart phone en général) et iPad permet d’envisager de nouvelles approches pour parcourir ces œuvres. L’extraction du texte des phylactères (les bulles), des onomatopées, des lignes de vitesse permettrait d’associer des sons aux images.
Les applications possibles sont nombreuses et la majorité d’entre elles augmenterait l’interactivité avec le lecteur, posant de nombreuses problématiques applicatives et scientifiques :
Sur un plan applicatif
– Lecture automatique des bulles pour les enfants ou les aveugles.
– Générations de sons pour rendre la lecture plus vivante.
– Animation de personnages ou d’objets
Sur un plan scientifique
– apport de l’interactivité dans le processus global d’indexation par le contenu, au travers des interactions amont (connaissance) et aval (bouclage de pertinence)
– formalisme de représentation des connaissances et de représentation des relations spatiales
– calcul de signatures
– indexation interactives par bouclage de pertinence
Plusieurs aspects peuvent être cités pour caractériser le caractère ambitieux et novateur de ce projet. Tout d’abord, à l’exception de quelques équipes de recherche dans le monde, la problématique de l’exploitation et la valorisation de contenus dans un contexte interactif est rarement abordée avec cette vision globale, intégrant tous les éléments de la chaine, de façon totalement décloisonnée. L’intégration de l’utilisateur en amont (interactivité liée à la représentation des connaissances) et en aval (interactivité pour le bouclage de pertinence nous permet de penser que le processus d’indexation et d’analyse des images doit être totalement revu, en particulier au travers de la dynamique informationnelle apportée par l’utilisateur, dans ses différents modes d’interactions avec le système.
D’autre part, dans le domaine de la dématérialisation et la valorisation de contenus, il est à souligner que la problématique de la bande dessinée n’est pas abordée en recherche dans le monde entier, à notre connaissance. Quelques contributions sont identifiées sur l’indexation de dessins, mais dont la richesse est sans commune mesure avec celle des Bandes Dessinées.
Ce projet vise le développement d’application interactive de lecture et de navigation dans des bases dessinées numérisées, à partir de systèmes nomades tels que les iphones, ipad, ou n’importe quel Smartphone.. Les enjeux scientifiques associés permettent en synergie les 3 axes actuels du laboratoire (SIDO, IMedoc et IMAGIN), au travers de l’exploitation de compétences variées, telles que la représentation des connaissance, l’analyse et l’indexation d’images de documents graphiques, et l’interactivité au sens large.
Description du sujet :
Les bandes dessinées sont des documents riches en contenus de nature très différentes : la couleur (objets, décors, personnages), le texte (contenu des bulles, onomatopées), de traits (bulles, cartouche, lignes de vitesse, expressions). Chaque contenu nécessite donc la mise en place d’outils d’extraction spécifiques. Pour être efficace, les traitements ne peuvent être appliqués à l’ensemble de la page (planche).
L’objectif de ce stage sera donc de réaliser la première étape de segmentation qui consiste à extraire d’une planche de bande dessinées les cases. Les cases sont en effet les éléments de base où se situe l’action de l’histoire. Lors d’une deuxième phase, si le temps le permet, la localisation précise des cases permettra de limiter l’espace de recherche pour extraire des symboles graphiques comme les phylactères (bulles) et les zones de texte.
La difficulté principale dans la détection des cases vient du nombre et des formes variables que peuvent avoir les cases en fonctions des auteurs. Parfois une case peut même chevaucher ou être incluse dans une autre. Les phylactères eux-mêmes en fonction des auteurs peuvent être inclus dans la case ou sortir de celles-ci. Le travail sera décomposé en étapes afin de considérer des cas simples dans un premier temps et de tester la robustesse de la méthode développée lorsque celle-ci est appliquée à des cas plus complexes.
Pour réaliser ce travail, il sera possible de s’appuyer sur les travaux réalisés précédemment :
– Développement de méthodes de segmentation et d’analyse de textures couleur basée sur la thèse d’Imtnan Qazi.
– Développement de signatures spatiales en appui sur les techniques développées en indexation de documents anciens : séparation en couches, intégration de multiples informations de type (couleurs, formes, textes, …).
Pré requis et contraintes particulières :
– Connaissances de bases en traitements des images et en segmentation souhaitées.
– Le développement logiciel sera réalisé en Java ou Matlab.
Références bibliographiques :
Contacts – liens :
Email : jmogier univ-lr.fr, jcburie univ-lr.fr