Actuellement
Je suis chercheuse postdoctorale au sein du groupe du Dr Mathew Magimai Doss à l'institut de recherche Idiap (Martigny) travaillant dans le domaine du traitement de la langue des signes. Mes recherches sont faites dans le cadre du projet FNS Sinergia SMILE-II qui vise à développer une technologie de pointe pour l'apprentissage de la langue des signes. Je travaille actuellement
sur le développement d’approches d’évaluation de la langue des signes au niveau de la production de phrase (aspect continu).
J'ai obtenu un doctorat affilié à l'EPFL en 2021 intitulé "Explainable Phonology-based Approach for Sign Language Recognition and Assessment" sous la direction du Dr Mathew Magimai.-Doss. Avant cela, en 2014, j'ai obtenu un Master en Mathématiques à l'Université de Fribourg.
Mes principaux intérêts de recherche se situent à l'intersection du traitement de la langue des signes, de l'accessibilité, de l'éducation, de la technologie orientée vers l'enfant et de l'interaction entre l'homme et l'intelligence artificielle (IA).
Institut de recherche Idiap
CH-1920 Martigny
03.2021 - aujourd'hui : Chercheuse Postdoctorale
Postdoctoral Researcher
Je travaille actuellement dans les domaines de la reconnaissance et de l'évaluation de la langue des signes dans le cadre des projets FNS Sinergia SMILE-II et InnoSuisse IICT. Mes recherches portent sur l'amélioration du démonstrateur initialement créé lors de mon doctorat dans le cadre du projet FNS SMILE. Ce démonstrateur est aujourd'hui une application web, appelée web SMILE demo (utilisant la webcam d'un ordinateur portable) qui permet à l'utilisateur d'apprendre la production de signes à partir du vocabulaire de la langue des signes suisse allemande en obtenant un retour « en direct » sur le mouvement et la forme des mains au travers de scores et de vidéos. En tant que responsable principal de cette tâche, j'ai mené le développement d'études d'utilisation et d'utilisabilité, ainsi que la collecte de données d'experts-évaluateurs. J'ai géré les collaborations en interne, avec les développeurs, et avec les partenaires des différents projets dans un cadre multidisciplinaire. J'ai également travaillé sur l'amélioration des algorithmes d'évaluation en développant un nouvel estimateur de forme de main basé sur des données squelettes. De plus, au cours des deux dernières années, j'ai étendu les recherches liées à mon doctorat, j'ai co-encadré une doctorants, j'ai révisé des articles de conférences (ICASSP, Interspeech) et de revues, j'ai participé à la sortie d'un ensemble de données et j'ai organisé diverses réunions du consortium ainsi que des rapports de mi-parcours pour le projet FNS SMILE-II.
I am currently working in the areas of sign language recognition and assessment as part of the SNSF Sinergia SMILE-II and InnoSuisse IICT projects. My research focuses on improving the demonstrator initially created during my doctorate as part of the SNSF SMILE project. This demonstrator is today a web application, called web SMILE demo (using laptop webcam) which allows the user to learn the production of signs from the vocabulary of Swiss German Sign Language by obtaining “live” feedback on the hands movement and handshapes through scores and videos. As lead manager for this task, I conducted the development of user and usability studies, as well as the collection of expert-evaluator data. I managed collaborations internally, with developers, and with partners of the different projects in a multidisciplinary framework. I also worked on improving the assessment algorithms by developing a new handshape estimator based on skeleton data. In addition, over the last two years, I have extended the research related to my PhD, I co-supervised a PhD student, I reviewed conference papers (ICASSP, Interspeech) and journals, I participated in the release of a dataset and I organized various consortium meetings as well as mid-term reports for the SNSF SMILE-II project.
02-03.2024 : Chercheuse Invitée
Visiting Researcher
J'ai visité le Center for Vision, Speech and Signal Processing (CVSSP) à l'Université de Surrey (Royaume-Uni) dans le groupe du Prof. Richard Bowden dans le cadre du projet Sinergia SMILE-II du FNS. J'ai travaillé sur le développement d'un estimateur de données basées sur le squelette en utilisant l'approche VQ-VAE appliquée à la reconnaissance et à l'évaluation continues de la langue des signes.
I visited the Center for Vision, Speech and Signal Processing (CVSSP) at the University of Surrey (UK) in the group of Prof. Richard Bowden in the scope of the SNSF Sinergia SMILE-II project. I worked in the development of skeleton-based feature estimator using the VQ-VAE approach applied in continuous sign language recognition and assessment.
Diplomas
- DOCTEUR ÈS SCIENCES - Ecole Polytechnique Fédérale de Lausanne (Suisse) - 2021
Explainable Phonology-based Approach for Sign Language Recognition and Assessment
-
MASTER OF SCIENCES - Université de Fribourg (Suisse) - 2015
Mathematics -
BACHELOR OF SCIENCES- Université de Fribourg (Suisse) - 2014
Mathematics (main), Psychology and Neurosciences
Impliquée dans les projets suivants
- SMILE-II : Scalable Multimodal sign language Technology for sIgn language Learning and assessmEnt Phase-II - SNSF Sinergia Project
2021 to 2024
Le projet SMILE-II vise à étendre la technologie du projet SMILE à l’évaluation continue de la langue des signes, y compris les composants manuels et non manuels des signes, afin que la production de phrases d’un apprenant de la langue des signes suisse allemande puisse être évaluée de manière automatique.
www.idiap.ch/en/scientific-research/projects/SMILE-II
-
IICT : Inclusive Information and Communication Technologies - Innosuisse, Swiss Innovation Agency
2022 to 2026
L'objectif du projet flagship est de développer des technologies de l'information et de la communication qui fournissent des services d'accès aux personnes avec un handicape.
https://www.idiap.ch/en/scientific-research/projects/IICT -
SMILE : Scalable Multimodal sign language Technology for sIgn language Learning and assessmEnt - SNSF Signergia Project
2016 to 2020
L'objectif du projet SMILE est de lancer un système d'évaluation du vocabulaire de la langue des signes suisse allemande utilisant la technologie de reconnaissance automatique de la langue des signes.
https://www.idiap.ch/project/smile
Activités précédentes
08.2016-02.2021 : Assistante de Recherche - Doctorat - PhD
Institut de recherche Idiap
CH-1920 Martigny
La recherche que j’ai effectuée porte sur les domaines de reconnaissance et d’évaluation de la langue des signes. Les trois contributions principales de ma thèse sont le développement (i) d’approches pour modéliser le mouvement des mains en unités discrètes, (ii) d’un cadre de reconnaissance de la langue des signes qui intègre les informations multicanaux inhérentes à la langue des signes, et (iii) d’un cadre d'évaluation de la langue des signes linguistiquement valide. Les méthodes développées s’appuient principalement sur les chaînes de Markov cachées ainsi que sur les réseaux de neurones. J’ai travaillé dans le cadre multidisciplinaire du projet SMILE pour lequel nous avons créé une démo.
Ecole Polytechique Fédérale de Lausanne
CH-1015 Lausanne
08.2015-07.2016 (30%) : Enseignante en Mathématiques
Ecole Professionnelle Technique et des Métiers
CH-1950 Sion
J'ai enseigné les mathématiques (géométrie, analyse, algèbre linéaire) à des apprentis en cours de formation pour la maturité professionnelle en parallèle de leur CFC (élèves de 16 à 20 ans). Le programme d'enseignement était fixé à l'avance (enseignement parallèle).
03.2016-05.2016 (60%) : Stagiaire
Institut Icare
CH-3960 Sierre
J'ai développé un programme qui prédit la consommation d'énergie quotidienne. J'ai utilisé un réseau de neurones récurrent (LSTM).
2014 : Thèse de Master
Université de Fribourg
CH-1700 Fribourg
Ma thèse de Master présente les méthodes mathématiques rencontrées en reconnaissance automatique de la parole. Pour compléter la partie théorique, des expériences ont été réalisées à l'institut de recherche Idiap en utilisant des méthodes basées sur des modèles de Markov cachés.
Institut de recherche Idiap
CH-1920 Martigny
2011-2013 : Tutrice en analyse propédeutique
Université de Fribourg
CH-1700 Fribourg
J'ai donné des séances d'exercices d'analyse propédeutique à des étudiants au niveau Bachelor (environ 200 étudiants). Plus précisément, des séances de présentation d'exercices et des séances de correction. J'ai également participé à la correction des séries d'exercices.