Laboratoire Informatique, Image et Interaction (L3i)

 

Annuaire > BURIE Jean-Christophe, Professeur des universités

  • Professeur des universités
  • Vice-Président Campus Numérique - Système d’Information
  • Directeur Adjoint du Laboratoire L3i
  • Directeur du laboratoire commun SAIL (Sequentiel Art Image Laboratory)

    • Mots clés : Traitement et Analyse d’images, Reconnaissance des formes, Machine Learning, Intelligence Artificielle

    Résumé du thème de recherche :

    Mes activités de recherche sont centrées sur le traitement et l’analyse d’images. Elles consistent à développer des méthodes d’extraction d’indices visuels, d’analyse de texture, de segmentation, de reconnaissance des formes en développant des stratégies basées sur le « machine learning » et le « deep learning ». Ces approches s’appliquent sur des images couleurs, des images de documents administratifs ou anciens, des textes manuscrits, des images de documents nativement numériques ou des vidéos.
    Depuis 2014, j’ai également développé des collaborations avec des chercheurs en sciences humaines (historiens, linguistes, …) afin d’aborder certaines problématiques avec une approche systémique.

    Depuis 2013, la stratégie du laboratoire est orientée sur un projet unique : la gestion interactive et intelligente des contenus numériques, avec une volonté de développer des approches pluridisciplinaires pour répondre à des enjeux sociétaux. Dans ce contexte, mes recherches portent toujours sur la segmentation et l’extraction d’information pour indexer des contenus numériques : bandes dessinées, plans, manuscrits anciens, etc.

    Si les approches classiques de traitement d’images sont toujours abordées, mes travaux incluent de plus en plus des approches basées sur les apprentissages profonds avec comme objectif de proposer des stratégies innovantes.

    Points forts de mes activités de recherche :

    Les points forts des mes activités de recherches sont :

    – L’indexation des manuscrits anciens : Dans le cadre d’un projet de recherche international que j’ai coordonné (projet AMADI / STIC ASIE) de 2015 à 2018, nous avons cherché à valoriser le contenu de manuscrits anciens rédigés sur des feuilles de palmiers. Ces documents sont souvent dégradés, faiblement contrastés. L’objectif est d’extraire le texte et de reconnaitre celui-ci. Nous avons travaillé sur des manuscrits balinais, sundanais et khmers. Les caractères de chaque langage ont leurs propres caractéristiques. Les contributions sont un framework pour binariser ce type de document, des méthodes de segmentation des lignes de textes, la proposition d’approches de word spotting pour identifier des mots à partir d’images requêtes, le développement de systèmes de reconnaissance de caractères balinais, sundanais et khmer (OCR) et de translitération automatique. Ces travaux ont été réalisés avec des philologues spécialistes de ces langages. Cette thématique de recherche se poursuit avec la thèse d’Erick Paulus (cotutelle avec Leiden University, Pays-Bas) sur l’analyse de manuscrit sundanais. Grâce à ces travaux, j’ai été sollicité par Anne-Valérie Schweyer (Epigraphe et Historienne DR au CASE, CNRS) pour travailler sur l’analyse d’écrits CHAM (Vietnam) qui sont principalement présents sur des stèles et des manuscrits s’étalant du 5ème au 19ème siècle (projet ANR Chamdoc), avec la thèse de Tien Nam Nguyen, en collaboration avec Lan Tan Le (MICA, Hanoi).

    – L’indexation des Bandes Dessinées/Mangas : Le projet e-BDthèque a débuté à mon initiative en 2011. Les images de bandes dessinées (BD) sont des images combinant information textuelle et graphique. Ces images sont très complexes car chaque auteur a son propre style. La représentation des cases, du texte, des bulles, des personnages varie énormément. Les travaux que je mène (thèses de C. Rigaud, Nam Thanh Le et John B. Louis ; projet iiBD ; coopération avec le Japon ; CPER), visent à développer des méthodes robustes pour extraire ce type d’information en vue d’obtenir une description de haut niveau du contenu des pages de BD pour les indexer. Les contributions sont (1) une approche multi-échelle utilisant les contours actifs pour détecter les bulles et pour différencier leur type (bulle de dialogue, de narration, colère, etc.). (2) des méthodes à base de graphes d’adjacence et de recherche de sous-graphes communs pour extraire les objets redondants dans les BD comme les personnages. (3) Un système basé sur la connaissance (ontologie) pour comprendre le contenu d’une case de BD. (4) des méthodes de détection et de reconnaissance du texte, ainsi que (5) des personnages, des visages et des onomatopées par apprentissages profonds. (6) des architectures multitâches et des stratégies d’analyse avec peu de données annotées pour reconnaitre le contenu des pages de BD, (7) l’analyse des émotions. Ces travaux m’ont permis de développer des relations avec la société Comix AI (anciennement Actialuna) à laquelle j’ai proposé de créer le Laboratoire Commun SAIL.

    – La confiance numérique : Les travaux de cette thématique concerne d’une part la sécurisation des documents et d’autre part la vérification d’identité dans les vidéos. La thèse de Vinh Loc Vu a consisté à développer plusieurs stratégies pour embarquer des signatures dans les parties textuelles et graphiques des images de documents afin de s’assurer que les documents sont authentiques. Ces signatures devaient être robustes à l’impression, la numérisation et la compression. Ces travaux ont permis de proposer d’une part des approches classiques altérant les intensités des zones de textes pour embarquer les signatures et d’autre part des approches à base d’apprentissage profonds pour sécuriser les documents imprimés et manuscrits.
    Les travaux menés dans les projets FUI MOBIDEM et IDECYS en collaboration avec la société AriadNext (maintenant IDnow France), ont pour but la vérification d’identité en analysant les vidéos acquises via un dispositif mobile (smartphone, tablette). MOBIDEM consistait à vérifier l’identité de la personne présente devant la caméra en comparant son visage à la photo de sa pièce d’identité. Le processus devait s’assurer que la personne était bien réelle. Une architecture spécifique à base d’apprentissage profond a été proposé pour vérifier l’identité et attester que la personne est bien réelle. Dans le cadre d’IDECYS, l’idée était de pouvoir détecter les attaques possibles lors de l’authentification par reconnaissance faciale (diffusion d’une vidéo, utilisation de masques, ou de maquillage) pour se faire passer pour une autre personne. Le projet intègre aussi le développement de méthodes de traitement du signal et des images pour authentifier une pièce d’identité en vérifiant via la caméra du smartphone la présence des éléments de sécurité (hologramme, guillochis).

    – La collaboration avec la Laboratoire International ICT-LAB, Vietnam
    Le L3i, l’IRD (UMI UMMISCO), la VAST (IOIT) et l’USTH (Université des Sciences et Techniques d’Hanoi) ont créé le Laboratoire International ICT Lab (http://ictlab.usth.edu.vn) en janvier 2015. Je suis membre de ce laboratoire international et je collabore plus spécifiquement avec Tran Giang Son, Nghiem Thi Phuong et Luong Chi Mai. Nos travaux portent notamment sur l’utilisation des apprentissages profonds pour la détection et la classification de tumeurs cancéreuses dans les poumons. Nous co-encadrons un doctorant sur cette problématique. Mais nous avons aussi travaillé sur d’autres sujet en proposant des approches rapides pour la détection de flou ou une méthode de détection de sourires avec les apprentissages profonds (problématique étudiée également dans MOBIDEM).

    Principales publications (4 dernières années) :

    Revues
    • Musab Al-Ghadi, Tanmoy Mondal, Zuheng Ming, Petra Gomez-Krämer, Mickaël Coustaty, Nicolas Sidere, and Jean-Christophe Burie, Identifying Fraudulent Identity Documents by Analyzing Imprinted Guilloche Patterns, MTAP : Media Tools and Applications, Volume ??, Mars 2024, Pages ???- ???. (Publication on-line : 4 mars 2024), https://doi.org/10.1007/s11042-024-18611-3
    • Erick Paulus, Jean-Christophe Burie, Fons J. Verbeek, Text Line Extraction Strategy for Palm Leaf Manuscripts, PRL : Pattern Recognition Letters, Volume 174, Octobre 2023, Pages 10-16, 2023, https://doi.org/10.1016/j.patrec.2023.08.007
    • Dmitry V Polevoy, Irina V Sigareva, Daria M Ershova, Vladimir V. Arlazarov, Dmitry P Nikolaev, Zuheng Ming, Muhammad Muzzamil Luqman, Jean-Christophe Burie, Document Liveness Challenge dataset (DLC-2021), JI : Journal of Imaging, Special Issue Mobile Camera-Based Image and Video Processing, Volume 8, Issue n°7, article 181, juin 2022, https://doi.org/10.3390/jimaging8070181
    • K.B. Bulatov, E.V. Emelianova, D.V. Tropin, N.S. Skoryukina, Y.S. Chernyshova, A.V. Sheshkus, S.A. Usilin, Z. Ming, Jean-Christophe Burie, M. M. Luqman, V.V. Arlazarov : MIDV-2020 : A Comprehensive Benchmark Dataset for Identity Document Analysis, CO :Journal of Computer Optics, vol 46, n°2, pp 245- 270, Mars-Avril 2022. https://doi.org/10.18287/2412-6179-CO-1006
    • Chi Cuong Nguyen, Giang Son Tran, Van Thi Nguyen, Jean-Christophe Burie, Thi Phuong Nghiem, Pulmonary Nodule Detection based on Faster R-CNN with Adaptive Anchor Box, IEEE Access, vol 9, p 154740-154751, 2021, ISSN : 2169-3536. https://doi.org/10.1109/ACCESS.2021.3128942
    • Zuheng Ming, Muzzamil Luqman, Jean-Christophe Burie, Cross-modal Photo-Caricature Face Recognition Based On Dynamic Multi-task Learning, IJDAR : International Journal on Document Analysis and Recognition, Volume 24, Issue 1-2, Juin 2021, Pages 33-48, 2021, https://doi.org/10.1007/s10032-021-00364-6
    • Zuheng Ming, Visani Muriel, Muzzamil Luqman, Jean-Christophe Burie, A Survey On Anti-Spoofing Methods For Face Recognition with RGB Cameras of Generic Consumer Devices, JI : Journal of Imaging, Special Issue Image and Video Forensics, Volume 20, Issue n°6, article 139, 2020,
      https://doi.org/10.3390/jimaging6120139
    • Van Nhu Nguyen, Christophe Rigaud, Arnaud Revel, Jean-Christophe Burie, A learning approach with incomplete pixel-level labels for deep neural networks, NEUNET : International Journal on Neural Network, Volume 130, Octobre 2020, Pages 111-125, 2020, https://doi.org/10.1016/j.neunet.2020.06.025
    • Vinh Loc Cu, Jean-Christophe Burie, Jean-Marc Ogier, A robust watermarking approach for security issue of binary documents using fully convolutional networks, IJDAR : International Journal on Document Analysis and Recognition, Volume 23, Issue 3, Septembre 2020, Pages 219-239, 2020, https://doi.org/10.1007/s10032-020-00355-z
    Conférences
    • Zuheng Ming, Zitong Yu, Musab Al-Ghadi, Muriel Visani, Muhammad Muzzamil Luqman, Jean-Christophe Burie, VITRANSPAD : Video Transformer using convolution and self-attention for face presentation attack detection, ICIP 2022, 29th IEEE International Conference on Image Processing, Bordeaux, France, 16-19 octobre 2022.
    • Tien Nam Nguyen, Jean-Christophe Burie, Thi-Lan Le, Anne-Valerie Schweyer, ICPR 2022, 26th International Conference on Pattern Recognition, Montreal, Canada, p ??- ??, 22-25 Août 2012.
    • Musab Qassem Al-Ghadi, Petra Gomez-Krämer, Jean-Christophe Burie, CheckScan : A Reference Hashing for Identity Document Quality Detection, ICMV 2021, 14th International Conference on Machine Vision, Roma, Italy, 8-12 novembre 2021. https://doi.org/10.1117/12.2623887
    • Nhu-Van Nguyen, Christophe Rigaud, Arnaud Revel, Jean-Christophe Burie, Manga-MMTL : Multimodal Multitask Transfer Learning for Manga Character Analysis, ICDAR 2021, 16th International Conference on Document Analysis and Recognition, Volume 2, p 410-425, Lausanne, Suisse, 8-10 Septembre 2021, https://doi.org/10.1007/978-3-030-86331-9_27
    • Nhu-Van Nguyen, Xuan-Son Vu, Christophe Rigaud, Lili Jiang, Jean-Christophe Burie, ICDAR 2021 Competition on Multimodal Emotion Recognition on Comics Scenes, ICDAR 2021, 16th International Conference on Document Analysis and Recognition, Volume 4, p 767-782, Lausanne, Suisse, 8-10 Septembre 2021, https://doi.org/10.1007/978-3-030-86337-1_51
    • Tien Nam Nguyen, Jean-Christophe Burie, Thi-Lan Le, Anne-Valerie Schweyer, On the use of attention in deep learning based denoising method for ancient Cham inscription images, ICDAR 2021, 16th International Conference on Document Analysis and Recognition, LNCS 12821, Volume 1, pp. 400 4015, Lausanne, Suisse, 8-10 Septembre 2021, https://doi.org/10.1007/978-3-030-86549-8_26
    • Vinh Loc Cu, Cao De Tran, Jean-Christophe Burie, Jean-Marc Ogier, Content Region Detection and Feature Adjustment for Securing Genuine Documents, KSE 2020, 12th IEEE International Conference on Knowledge and Systems Engineering, Can Tho, Vietnam, 12-14 Novembre 2020.

    Points forts de mes activités relevant des missions autres que la recherche

    Responsabilités

    – Vice-Président Campus Numérique - Système d’Information
    – Directeur Adjoint du Laboratoire L3i (Laboratoire Informatique Image Interaction)
    – Directeur du laboratoire commun SAIL (Sequentiel Art Image Laboratory)
    – Président de l’Association Cocktail

    Enseignement

    – Acquisition et traitement de contenus : Approches Expérimentales (Master 1 Informatique)
    – Acquisition et Codage de contenus (Master 1 Informatique)
    – Processus de dématérialisation (Master 2 Informatique)
    – Création et Gestion de sites Web (Master 2 Histoire, Parcours : e-Tourisme et ingénierie culturelle des patrimoines)