Nous avons le plaisir de vous convier à la soutenance de thèse d'Axel FOLTYN qui aura lieu le mardi 12 Mai à 10h, à l'institut de Chalon-sur-Saône en salle de diffusion.
Vous pourrez également suivre la soutenance de thèse via le lien Teams suivant :
La soutenance sera en français, et le sujet porte sur la modélisation du niveau d’expertise et de l’hésitation par analyse du geste pour la maintenance industrielle.
Membre du jury :
Jury | ||
Mme. Nadia MAGNENAT THALMANN | Professeure honoraire, MIRALab, Université de Genève | Examinatrice |
M. Guillaume LAVOUE | PU, LIRIS, École Nationale d’Ingénieurs de Saint-Étienne(ENISE) | Rapporteur |
M. Sébastien THOMASSEY | PU, GEMTEX, École Nationale Supérieure des Arts et Industries Textiles : Roubaix | Rapporteur |
M. Frédéric MERIENNE | PU, LISPEN, Arts et Métiers - Campus de Cluny | Directeur |
Mme. Florence DANGLADE | MCF, LISPEN, Arts et Métiers - Campus de Cluny | Co-encadrante |
M. Christophe GUILLET | MCF, LISPEN, Arts et Métiers - Campus de Cluny | Co-encadrant |
M. Thierry POZZO | PU, CAPS, Université Bourgogne Europe | Examinateur |
Résumé :
La réalité augmentée assiste les opérateurs de maintenance en fonction de la situation et de leurs besoins. Les travaux existants montrent qu’elle améliore leurs performances. Par ailleurs, les aides cognitives ont été étudiées, mais leur adaptation est plus complexe car elles nécessitent des connaissances sur l’opérateur. Cette thèse porte sur l’analyse des mouvements de l’opérateur afin de déterminer son niveau d’expertise et les moments où apparaît un besoin d’assistance. Trois questions de recherche structurent ce travail : i) Quelles caractéristiques permettent d’évaluer le niveau d’expertise d’un opérateur ? ii) Comment concevoir un système fiable d’acquisition de données capable de générer et d’enregistrer les comportements d’hésitation ? iii) Comment caractériser et modéliser l’hésitation dans un geste ?
L’approche scientifique a consisté en plusieurs étapes. Pour identifier le niveau d’expertise, une méthode fondée sur un algorithme d’élimination récursive a permis de sélectionner un ensemble restreint de caractéristiques discriminantes, tout en préservant une bonne détection et une bonne robustesse. Les instants où un besoin d’assistance est présent ont été associés à un mouvement gestuel d’hésitation chez l’opérateur. Pour détecter un besoin d’assistance, un outil expérimental a été conçu pour provoquer et enregistrer des comportements d’hésitation, afin de constituer une base de données fiable et reproductible. Les données produites ont ensuite permis de proposer un algorithme de détection des instants de besoin d’assistance.
Les apports des travaux de recherche se situent à ces différentes étapes. Un premier résultat est le développement d’une méthodologie permettant de caractériser le niveau d’expertise à partir des comportements, en distinguant les débutants, les intermédiaires et les experts à l’aide d’un ensemble restreint de caractéristiques. Dans ce cadre, l’algorithme d’élimination récursive de caractéristiques, développé spécifiquement pour cette thèse, constitue un résultat à part entière : il permet de sélectionner automatiquement les caractéristiques les plus pertinentes tout en réduisant leur nombre, ce qui rend l’évaluation plus robuste et interprétable. Cet algorithme, testé sur des données simulées, présente une bonne discrimination entre les niveaux d’expertise. Un second résultat des travaux de la thèse est le développement d’un outil permettant de provoquer et d’enregistrer des comportements d’hésitation chez les participants, ce qui constitue une base de données fiable pour analyser les gestes hésitants. Cet outil ne présente pas d’effet statistique d’apprentissage, ce qui permet de faire passer plusieurs fois les mêmes participants afin d’enrichir la base de données. Les données produites ont permis de proposer un premier algorithme de détection en temps réel des moments de besoin d’assistance à partir de l’analyse des mouvements.
En conclusion, ces travaux proposent des méthodes pour caractériser le profil d’un opérateur de maintenance en termes de niveau d’expertise et de besoins en assistance, à partir de l’analyse de ses mouvements. Ces travaux ouvrent la voie à des systèmes de réalité augmentée adaptatifs, capables d’ajuster l’assistance en temps réel en fonction du profil de l’opérateur, améliorant ainsi l’efficacité et la sécurité des interventions. Les limites actuelles concernent principalement l’absence d’une base de données issue de situations industrielles réelles. Pour généraliser les résultats, une base de données de mouvements couvrant plusieurs types de maintenance pourrait être constituée afin d’identifier un ensemble de caractéristiques capables de classer efficacement le niveau d’expertise, quel que soit le sous-ensemble de mouvements considéré. Ces perspectives constituent des axes de recherche visant à développer des systèmes d’assistance plus flexibles et personnalisés.
Mot clé :
- Modélisation du geste,
- Traitement du signal,
- Intelligence artificielle,
- Réalité virtuelle
Abstract :
Augmented reality is increasingly used in industry to assist maintenance operators according to the situation and their actual needs. Existing research shows that AR improves operator performance. Furthermore, cognitive aids have been extensively studied, but adapting them to the operator is more complex as it requires knowledge about the operator. This thesis focuses on analyzing the operator's movements during maintenance work in order to determine their level of expertise and the moments when assistance is needed. Three research questions structure this work: i) What are the most relevant characteristics for assessing the level of expertise of a maintenance operator? ii) How can a reliable data acquisition system be designed that is capable of generating and recording hesitation behaviors? iii) How can hesitation in a gesture be characterized and modeled?
The scientific approach consisted of several stages. To identify the level of expertise, a method based on a recursive elimination algorithm was used to select a limited set of discriminating characteristics, while maintaining good detection and robustness. The moments when a need for assistance existed were associated with a hesitant gesture by the operator. To detect a need for assistance, an experimental tool was designed to provoke and record hesitation behaviors, constituting a reliable and reproducible database. The data produced was then used to propose an algorithm for detecting moments of need for assistance.
The contributions of the research are found at these different stages. A first result is the development of a methodology for characterizing the level of expertise based on behavior, distinguishing between beginners, intermediate users, and experts using a limited set of characteristics. In this context, the recursive feature elimination algorithm, developed specifically for this thesis, is a result in its own right: it automatically selects the most relevant characteristics while reducing their number, making the evaluation more robust and interpretable. This algorithm, tested on simulated data, maintains good discrimination between levels of expertise. A second result of the thesis work is the development of a tool for provoking and recording hesitation behaviors in participants, thus constituting a reliable database for analyzing hesitant gestures. This tool has no statistical learning effect, which allows the same participants to be tested several times to enrich the database. The data produced has made it possible to propose an initial algorithm for real-time detection of moments when assistance is needed through movement analysis.
In conclusion, this research proposes methods for characterizing the profile of a maintenance operator in terms of expertise level and assistance needs by analyzing their movements. This work paves the way for adaptive augmented reality systems capable of adjusting assistance in real time according to the operator's profile, thereby improving the efficiency and safety of interventions. The current limitations mainly concern the lack of a database derived from real industrial situations. To generalize the results, a database of movements covering several types of maintenance could be created in order to identify a set of characteristics capable of effectively classifying the level of expertise, regardless of the subset of movements considered. These prospects constitute areas of research aimed at developing more flexible and personalized assistance systems.
Keywords :
- Gesture modeling,
- Signal processing,
- Artificial intelligence,
- Virtual reality
Thèse dirigée par Frédéric MERIENNE , et co-encadrée par Florence DANGLADE et Christophe GUILLET.