Langue des Signes
Les langues des signes sont des langues visuo-gestuelles utilisées principalement par les communautés sourdes et mal-entendantes. Voici quelques clarifications face à certaines croyances que, je l'avoue, j'avais moi-même :
Je suis une personne engagée dans le développement personnel, qui a à coeur de comprendre sincèrement les autres, qui a un sens aigu de l'équité et qui aime développer des perspectives multiples, résoudre des problèmes, concevoir/développer et partager/échanger. Je suis intéressée par tout défi, si cela peut aider les autres, c'est un grand plus.
Du point de vue de la recherche, je m'intéresse aux technologies susceptibles d'aider les enfants ayant des besoins spécifiques dans leur vie quotidienne. Mes principaux intérêts de recherche se situent à l'intersection du traitement de la langue des signes, de l'accessibilité, de l'éducation, de la technologie orientée vers l'enfant et de l'interaction entre l'homme et l'intelligence artificielle (IA).
L'enseignement fait également partie de mes aspirations professionnelles. J'aime développer et adapter mes présentations en fonction du public. Je trouve qu'être capable d'expliquer des méthodes de manière adaptée et simplifiée en nécessite une compréhension profonde, et être capable de communiquer les concepts sous-jacents favorise leur transdisciplinarité. La compréhension des concepts et l'explicabilité en IA sont également des points fondamentaux dans mes activités de recherche. À cet égard, je pense que l'enseignement est un très bon complément à la recherche.
Après mes études universitaires en mathématiques, j'ai rejoint l'École Professionnelle Technique et des Métiers (Sion, Suisse) pour enseigner l'algèbre, la géométrie et l'analyse dans le programme de maturité. À cette époque, mon désir d'enseigner était hâtif : c'est à ce moment que j'ai réalisé que j'avais encore envie d'apprendre, d'explorer et d'acquérir une expérience essentielle : la pratique. Ce désir m'a conduit vers l'IA, qui me permettait de combiner et d'appliquer mes domaines d'études : les mathématiques, les neurosciences et la psychologie. J'ai réintégré l'Institut de recherche Idiap en postulant pour le projet FNS SMILE dans le domaine du traitement de la langue des signes. Mon souhait a été exaucé, car ce changement de domaine m'a non seulement permis d'acquérir des compétences pratiques, mais aussi de découvrir la réalité concrète des données et des modèles statistiques par rapport à la conception théorique que j'en avais.
Durant mes années de doctorat et de postdoctorat, j'ai principalement travaillé sur le traitement statistique des séquences. Plus précisément, j'ai appliqué les chaînes de Markov cachées à des tâches de reconnaissance, d'évaluation et de génération dans le contexte du traitement de la langue des signes et de la parole. Nous avons également démontré la possibilité de combiner des méthodes de deep learning plus récentes avec des modèles statistiques pour modéliser et évaluer des données multimodales. Ma recherche se concentre à la fois sur l'aspect technologique et sur l'aspect applicatif pour le déploiement d'un outil final. En effet, j'ai pu participer et diriger la création et l'amélioration d'une démonstration en intégrant les algorithmes développés lors de mes recherches. J'ai également pu mener des études d'utilisabilité et d'utilisateurs, ainsi que collecter des données d'experts pour valider le contenu des résultats obtenus, ce qui constitue un atout pour une éventuelle collaboration avec le monde industriel. J'ai eu l'occasion d'évoluer dans un cadre multidisciplinaire à travers différents projets (SMILE-II, IICT, SMILE), de collaborer avec différents groupes de recherche national et international et de développer un réseau suisse et international.
I am a person who is committed to personal development, sincere understanding of others, with a strong sense of fairness and who loves to develop multiple perspectives, solve, design/develop and share/exchange. I am interested in any challenge, if it can help others is a big plus.
From research point-of-view, I'm interested in the research and development of technologies that can help children with special needs in their daily lives. In fact, my main research interests lie at the intersection of sign language processing, accessibility, education, child-oriented technology and human-AI interaction.
Teaching is also part of my professional aspirations. I like to develop and adapt my presentations according to the audience. I find that being able to explain methods in an adapted and simplified way requires a deep understanding, and being able to communicate the underlying concepts promotes their transdisciplinarity. This understanding of concepts and explainability in AI are also fundamental points in my research activities. In this respect, I think that teaching is a very good complement to research.
After my university studies in mathematics, I joined the Ecole Professionnelle Technique et des Métiers (Sion, Switzerland) to teach algebra, geometry and analysis in the maturity curriculum. At that time, my desire to teach was still in its infancy: It was during this period that I realised that I still wanted to learn, explore and gain the essential experience: practice. This desire led me to artificial intelligence (AI), which allowed me to combine and apply my fields of study: mathematics, neuroscience and psychology. I returned to the Idiap Research Institute by applying for the FNS SMILE project in the field of sign language processing. My wish was granted, as this change of field allowed me not only to acquire practical skills, but also to discover the concrete reality of data and statistical models in relation to the theoretical conception I had of them.
During my doctoral and postdoctoral years, I mainly worked on statistical sequence processing. More specifically, I applied Hidden Markov Chains to recognition, assessment and generation tasks in the context of sign language and speech processing. We also demonstrated the possibility of combining more recent deep learning methods with their statistical models to model and evaluate multimodal data. My research focuses not only on a technological level, but also on an "end-user" application level. In fact, I was able to participate and lead the creation and improvement of a demonstration by integrating the algorithms developed during my research, and I was able to conduct usability and user studies, as well as collecting expert data to validate the content of the results obtained; an asset for a possible collaboration with the industrial world. I have had the opportunity to evolve in a multidisciplinary framework through different projects (SMILE-II, IICT, SMILE), to collaborate with different research groups and to develop a Swiss and international network.
La démo Web SMILE est une application Web interactive conçue pour apprendre à produire les signes de la langue des signes suisse allemande (Deutschschweizerische Gebärdensprache, DSGS).
Pourquoi ? La démo web SMILE a été développée pour étudier la faisabilité d'un tel outil dans un scénario réel/"à la maison" en implémentant les méthodes d'évaluation de la langue des signes développées durant mon doctorat à l'institut de recherche Idiap dans le cadre du projet FNS SMILE.
Une des tâches du projet Innosuisse IICT est de l'intégrer à la plateforme d'apprentissage existante signwise.ch où les utilisateurs évaluent actuellement eux-mêmes leurs productions en comparant leur vidéo avec une vidéo de référence.
A quoi ça ressemble ? L'utilisateur choisit dans un catalogue, c'est-à-dire une liste de signes DSGS (vocabulaire), quel signe il souhaite apprendre. Si l'utilisateur ne connaît pas le signe, il a la possibilité de regarder une vidéo de référence. Ensuite, il s'entraîne à signer en exécutant et en enregistrant le signe devant sa webcam et reçoit (cf image ci-dessous) des feedback automatiques pour s'auto-corriger. Ces feedback sont des vidéos ainsi que des scores qui évaluent la production globale ainsi des composantes spécifiques : la forme des mains et le mouvement des mains.
Comment ça marche ? L'organigramme ci-dessous présente les principales étapes. Tout d'abord la webcam enregistre le signe de l'utilisateur et fournit une vidéo. Pour chaque image de cette vidéo est appliqué un extracteur de squelette pour obtenir les articulations du squelette de l'utilisateur. Ces articulations squelettes sont utilisées pour extraire les caractéristiques du mouvement de la main et de la forme de la main. Les deux fonctionnalités sont rassemblées et comparées/alignées sur un modèle de référence préalablement entraîné avec des vidéos d'experts. Ensuite, un processus de prise de décision ainsi qu'une étape de visualisation sont effectués pour fournir la vidéo de feedback et les scores.
Et maintenant ? La démo SMILE est actuellement évaluée à travers différentes études pour rendre les feedback encore plus significatifs et conviviaux.
De plus, une nouvelle démonstration est en cours de développement pour l'évaluation de la production de phrase de la langue des signes, dans le cadre du projet FNS SMILE-II.
Intéressé d'en savoir plus? N'hésitez pas à me contacter.
Les langues des signes sont des langues visuo-gestuelles utilisées principalement par les communautés sourdes et mal-entendantes. Voici quelques clarifications face à certaines croyances que, je l'avoue, j'avais moi-même :