Actuellement

Je suis chercheuse postdoctorale au sein du groupe du Dr Mathew Magimai Doss à l'institut de recherche Idiap (Martigny) travaillant dans le domaine du traitement de la langue des signes. Mes recherches sont faites dans le cadre du projet FNS Sinergia SMILE-II qui vise à développer une technologie de pointe pour l'apprentissage de la langue des signes.  Je travaille actuellement
sur le développement d’approches d’évaluation de la langue des signes au niveau de la production de phrase (aspect continu).

J'ai obtenu un doctorat affilié à l'EPFL en 2021 intitulé "Explainable Phonology-based Approach for Sign Language Recognition and Assessment" sous la direction du Dr Mathew Magimai.-Doss. Avant cela, en 2014, j'ai obtenu un Master en Mathématiques à l'Université de Fribourg.

Mes intérêts de recherche sont le traitement de la langue des signes (sign language processing), l'informatique accessible (accessible computing) et l'apprentissage automatique pour l’éducation (machine learning for education).

Institut de recherche Idiap
CH-1920 Martigny

03.2021 - aujourd'hui : Chercheuse Postdoctorale

Je travaille actuellement dans les domaines de la reconnaissance et de l'évaluation de la langue des signes dans le cadre des projets FNS Sinergia SMILE-II et InnoSuisse IICT. Mes recherches portent sur l'amélioration du démonstrateur initialement créé lors de mon doctorat dans le cadre du projet FNS SMILE. Ce démonstrateur est aujourd'hui une application web, appelée web SMILE demo (utilisant la webcam d'un ordinateur portable) qui permet à l'utilisateur d'apprendre la production de signes à partir du vocabulaire de la langue des signes suisse allemande en obtenant un retour « en direct » sur le mouvement et la forme des mains au travers de scores et de vidéos. En tant que responsable principal de cette tâche, j'ai mené le développement d'études d'utilisation et d'utilisabilité, ainsi que la collecte de données d'experts-évaluateurs. J'ai géré les collaborations en interne, avec les développeurs, et avec les partenaires des différents projets dans un cadre multidisciplinaire. J'ai également travaillé sur l'amélioration des algorithmes d'évaluation en développant un nouvel estimateur de forme de main basé sur des données squelettes. De plus, au cours des deux dernières années, j'ai étendu les recherches liées à mon doctorat, j'ai co-encadré une doctorants, j'ai révisé des articles de conférences (ICASSP, Interspeech) et de revues, j'ai participé à la sortie d'un ensemble de données et j'ai organisé diverses réunions du consortium ainsi que des rapports de mi-parcours pour le projet FNS SMILE-II.

I am currently working in the areas of sign language recognition and assessment as part of the SNSF Sinergia SMILE-II and InnoSuisse IICT projects. My research focuses on improving the demonstrator initially created during my doctorate as part of the SNSF SMILE project. This demonstrator is today a web application, called web SMILE demo (using laptop webcam) which allows the user to learn the production of signs from the vocabulary of Swiss German Sign Language by obtaining “live” feedback on the hands movement and handshapes through scores and videos. As lead manager for this task, I conducted the development of user and usability studies, as well as the collection of expert-evaluator data. I managed collaborations internally, with developers, and with partners of the different projects in a multidisciplinary framework. I also worked on improving the assessment algorithms by developing a new handshape estimator based on skeleton data. In addition, over the last two years, I have extended the research related to my PhD, I co-supervised a PhD student, I reviewed conference papers (ICASSP, Interspeech) and journals, I participated in the release of a dataset and I organized various consortium meetings as well as mid-term reports for the SNSF SMILE-II project.

Impliquée dans les projets suivants

  • SMILE-II : Scalable Multimodal sign language Technology for sIgn language Learning and assessmEnt Phase-II - SNSF Sinergia Project
    2021 to 2024
    Le projet SMILE-II vise à étendre la technologie du projet SMILE à l’évaluation continue de la langue des signes, y compris les composants manuels et non manuels des signes, afin que la production de phrases d’un apprenant de la langue des signes suisse allemande puisse être évaluée de manière automatique.
    www.idiap.ch/en/scientific-research/projects/SMILE-II

 

  • IICT : Inclusive Information and Communication Technologies - Innosuisse, Swiss Innovation Agency
    2022 to 2026
    L'objectif du projet flagship est de développer des technologies de l'information et de la communication qui fournissent des services d'accès aux personnes avec un handicape.
    https://www.idiap.ch/en/scientific-research/projects/IICT

  • SMILE : Scalable Multimodal sign language Technology for sIgn language Learning and assessmEnt - SNSF Signergia Project
    2016 to 2020
    L'objectif du projet SMILE est de lancer un système d'évaluation du vocabulaire de la langue des signes suisse allemande utilisant la technologie de reconnaissance automatique de la langue des signes.
    https://www.idiap.ch/project/smile

Activités précédentes

08.2016-02.2021 : Assistante de Recherche - Doctorat

Institut de recherche Idiap
CH-1920 Martigny

La recherche que j’ai effectuée porte sur les domaines de reconnaissance et d’évaluation de la langue des signes. Les trois contributions principales de ma thèse sont le développement (i) d’approches pour modéliser le mouvement des mains en unités discrètes, (ii) d’un cadre de reconnaissance de la langue des signes qui intègre les informations multicanaux inhérentes à la langue des signes, et (iii) d’un cadre d'évaluation de la langue des signes linguistiquement valide. Les méthodes développées s’appuient principalement sur les chaînes de Markov cachées ainsi que sur les réseaux de neurones. J’ai travaillé dans le cadre multidisciplinaire du projet SMILE pour lequel nous avons créé une démo.

Ecole Polytechique Fédérale de Lausanne

CH-1015 Lausanne

08.2015-07.2016 (30%) : Enseignante en Mathématiques

Ecole Professionnelle Technique et des Métiers
CH-1950 Sion

J'ai enseigné les mathématiques (géométrie, analyse, algèbre linéaire) à des apprentis en cours de formation pour la maturité professionnelle en parallèle de leur CFC (élèves de 16 à 20 ans). Le programme d'enseignement était fixé à l'avance (enseignement parallèle).

03.2016-05.2016 (60%) : Stagiaire

Institut Icare
CH-3960 Sierre

J'ai développé un programme qui prédit la consommation d'énergie quotidienne. J'ai utilisé un réseau de neurones récurrent (LSTM).

2014 : Thèse de Master

Université de Fribourg
CH-1700 Fribourg

Ma thèse de Master présente les méthodes mathématiques rencontrées en reconnaissance automatique de la parole. Pour compléter la partie théorique, des expériences ont été réalisées à l'institut de recherche Idiap en utilisant des méthodes basées sur des modèles de Markov cachés.

Institut de recherche Idiap
CH-1920 Martigny

2011-2013 : Tutrice en analyse propédeutique

Université de Fribourg
CH-1700 Fribourg

J'ai donné des séances d'exercices d'analyse propédeutique à des étudiants au niveau Bachelor (environ 200 étudiants). Plus précisément, des séances de présentation d'exercices et des séances de correction. J'ai également participé à la correction des séries d'exercices.