• 29.04.2024 - Interview Rhône FM sur les technologies d'assistance pour l'apprentissage de la langue des signes
  https://www.rhonefm.ch/valais/une-intelligence-artificielle-pour-developper-les-techniques-d-apprentissage-du-langage-des-signes-429192

• 26.04.2024 - présentation sur les technologies d'assistance pour l'apprentissage de la langue des signes au 9ème AI Valais/Wallis Workshop sur "Human-AI Teaming" au Swiss Digital Center à Sierre
  https://www.hevs.ch/en/events/9th-ai-valais-wallis-workshop-on-human-ai-teaming-208987

Démonstration web SMILE

https://technology.idiap.ch/technologies/multimedia/smile/

La démo Web SMILE est une application Web interactive conçue pour apprendre à produire les signes de la langue des signes suisse allemande (Deutschschweizerische Gebärdensprache, DSGS).

Pourquoi ? La démo web SMILE a été développée pour étudier la faisabilité d'un tel outil dans un scénario réel/"à la maison" en implémentant les méthodes d'évaluation de la langue des signes développées durant mon doctorat à l'institut de recherche Idiap dans le cadre du projet FNS SMILE.
Une des tâches du projet Innosuisse IICT est de l'intégrer à la plateforme d'apprentissage existante signwise.ch où les utilisateurs évaluent actuellement eux-mêmes leurs productions en comparant leur vidéo avec une vidéo de référence.

A quoi ça ressemble ? L'utilisateur choisit dans un catalogue, c'est-à-dire une liste de signes DSGS (vocabulaire), quel signe il souhaite apprendre. Si l'utilisateur ne connaît pas le signe, il a la possibilité de regarder une vidéo de référence. Ensuite, il s'entraîne à signer en exécutant et en enregistrant le signe devant sa webcam et reçoit (cf image ci-dessous) des feedback automatiques pour s'auto-corriger. Ces feedback sont des vidéos ainsi que des scores qui évaluent la production globale ainsi des composantes spécifiques : la forme des mains et le mouvement des mains.

Comment ça marche ?  L'organigramme ci-dessous présente les principales étapes.  Tout d'abord la webcam enregistre le signe de l'utilisateur et fournit une vidéo. Pour chaque image de cette vidéo est appliqué un extracteur de squelette pour obtenir les articulations du squelette de l'utilisateur. Ces articulations squelettes sont utilisées pour extraire les caractéristiques du mouvement de la main et de la forme de la main. Les deux fonctionnalités sont rassemblées et comparées/alignées sur un modèle de référence préalablement entraîné avec des vidéos d'experts. Ensuite, un processus de prise de décision ainsi qu'une étape de visualisation sont effectués pour fournir la vidéo de feedback et les scores.

Et maintenant ? La démo SMILE est actuellement évaluée à travers différentes études pour rendre les feedback encore plus significatifs et conviviaux.

De plus, une nouvelle démonstration est en cours de développement pour l'évaluation de la production de phrase de la langue des signes, dans le cadre du projet FNS SMILE-II.

Intéressé d'en savoir plus? N'hésitez pas à me contacter.