Soutenance de thèse de Rabab AHNIGUIRA : Mardi 1er juillet 2025 à 14h00

Résumé : Cette thèse présente une approche hybride pour le recalage 3D en réalité augmentée, combinant détection d’objets dans des images 2D, segmentation de nuages de points 3D, et recalage par l’algorithme Iterative Closest Point (ICP). L’objectif est de répondre aux exigences de précision et de performance en temps réel posées par les applications de réalité augmentée dans le cadre du Building Information Modeling (BIM). L’approche proposée s’organise en trois modules complémentaires : (1) une détection automatique d’objets d’intérêt dans des images 2D par des méthodes d’intelligence artificielle ; (2) une segmentation des nuages de points 3D à l’aide de boîtes englobantes, adaptée aux contraintes de calcul des dispositifs mobiles ; (3) un recalage du modèle BIM dans le nuage de points segmenté, en s’appuyant sur une initialisation par correspondance géométrique suivie d’un raffinement par ICP. Cette approche a été développée dans le contexte du projet industriel R3NDER, tout en visant une portabilité vers d’autres cas d’usage en réalité augmentée dans des environnements complexes. Les expérimentations menées sur des objets tels que les bornes d’incendie montrent que l’approche permet un recalage précis avec un nombre limité de vues. L’intersection des boîtes englobantes s’est révélée pertinente pour équilibrer la précision spatiale et la complexité algorithmique.

Mots-clés : Réalité augmentée, recalage 3D,nuage de points, segmentation 3D,détection d’objets, BIM

Abstract : This thesis presents a hybrid approach to 3D registration in augmented reality, combining object detection in 2D images, segmentation of 3D point clouds, and registration using the Iterative Closest Point (ICP) algorithm. The objective is to address the requirements of precision and real-time performance posed by augmented reality applications within the framework of Building Information Modeling (BIM). The proposed approach is organized into three complementary modules: (1) automatic detection of objects of interest in 2D images using artificial intelligence methods; (2) segmentation of 3D point clouds using bounding boxes, adapted to the computational constraints of mobile devices; and (3) registration of the BIM model within the segmented point cloud, relying on geometric correspondence initialization followed by refinement via ICP. This approach was developed in the context of the industrial project R3NDER, while aiming for portability to other augmented reality use cases in complex environments. Experiments conducted on objects such as fire hydrants demonstrate that the approach enables accurate registration with a limited number of views. The intersection of bounding boxes proved to be relevant for balancing spatial accuracy and algorithmic complexity.

Keywords : Augmented Reality, 3D Registration, Point Cloud, 3D Segmentation, Object Detection, BIM