Utiliser le Kinect pour traduire la langue des signes3 minute(s) de lecture

Le Kinect de Microsoft est un objet aux milles facettes. Commercialisé dans un premier temps en tant que périphérique pour console de jeu, il a très rapidement conquis d’autres domaines d’utilisation.  Ses capacités de détection de mouvements ou encore son micro construit spécifiquement pour faciliter la reconnaissance vocale en font un partenaire idéal pour de multiples applications.  L’une d’entre elle s’éloigne du domaine du jeu pour apporter une solution pour contribuer à rompre l’isolement des personnes n’ayant que la langue des signes pour se faire comprendre.

Plusieurs universités et chercheurs se sont lancés dans l’aventure qui consiste à pouvoir proposer un système capable de servir d’interprète entre des personnes en pleine possessions de leurs moyens et celles qui malheureusement ne peuvent qu’utiliser la langue des signes pour discuter avec leur entourage sans avoir recours à l’écriture.

Le Kinect de Microsoft s’inscrit en tant que périphérique de choix pour identifier le sens de la gestuelle de la personne s’exprimant en langue signée.  Le système mis au point par ces chercheurs est en charge de la compréhension des signes de sa retranscription scripturale ou encore vocale en laissant alors le soin à une voix synthétique d’assurer la formulation de la phrase.

Le système assure donc les étapes suivantes:

• détection les mouvements de l’avant-bras de la personne en train de s’exprimer en langue des signes (les poignets, les coudes, etc),
• comparaison des mouvements avec les données de mouvement pour chaque mot,
• détermination automatique du sens des mouvements
• restitution de l’information traduite via un écran ou mieux via synthèse vocale

Le Kinect intervient également ensuite pour capter les mots et phrases énoncées par l’interlocuteur répondant à haute voix.  Le système des chercheurs assure alors la restitution via un avatar numérique en langue des signes.  Le dialogue est bidirectionnel et quelque part les 2 personnes sont finalement mises sur le même pied d’égalité: toutes les 2 ont besoin d’un système d’aide pour pouvoir se faire comprendre de l’autre.

Le but de ces études est de proposer à terme ce service en temps réel.  La miniaturisation des composants permettra par la suite d’imaginer une utilisation via un smartphone de génération future qui servirait de traducteur mobile.  De quoi éliminer les freins à la sociabilisation de ceux qui n’ont que la langue des signes pour se faire comprendre.

Cela n’est pas de la science fiction comme le prouve par exemple les travaux du professeur Xilin Chen, directeur adjoint de l’Institut de technologie de l’informatique à l’Académie Chinoise des Sciences. Il a passé la dernière décennie à étudier la reconnaissance de la langue des signes. Il a profité du fait qu”en Juin 2011, Microsoft a publié un kit de développement logiciel (SDK) pour Kinect sur la plateforme Windows. Cela a contribué largement à rendre la technologie disponible pour une utilisation scientifique.

Les cas d’utilisation sont très nombreuses:

• utilisation dans les administrations, dans les cabinets médicaux, …
• utilisation dans les écoles, dans les universités, dans les entreprises, …
• utilisation pour donner accès à des métiers qui peuvent être aujourd’hui fermés comme ceux nécessitant une interaction avec clients,…
• …

Le résultat en vidéo ci-dessous montre qu’il est possible, en temps réel, d’effectuer une traduction de la langue des signes à la langue parlée et vice versa à des vitesses de conversations quasi classiques. Le système, baptisé Kinect Sign Language Translator, est capable de capturer une conversation des deux côtés.  Ce projet est le résultat d’une collaboration entre l’Académie des Sciences de Chine, Beijing Union University, et Microsoft Research Asia.

Source : Microsoft