Google DeepMind et Android ont présenté SL2T, un modèle de traduction de langue des signes en texte (SL2T) massivement multilingue qui apporte l'IA de la langue des signes aux produits grand public pour la première fois. La technologie alimente la dictée de signes en texte dans Gboard et Live Transcribe sur Pixel 11, en commençant par la langue des signes américaine (ASL) vers l'anglais.
- SL2T est entraîné sur plus de 100 000 heures de données couvrant plus de 50 langues des signes, atteignant un score zero-shot de 70 BLEURT sur les benchmarks FLEURS-ASL.
- Le modèle traduit directement à partir des coordonnées des repères de posture suivis par MediaPipe Holistic, contournant les glosses intermédiaires pour capturer les marqueurs non-manuels et les constructions spatiales.
- La confidentialité est préservée en envoyant uniquement les coordonnées géométriques au serveur, permettant de supprimer immédiatement les données vidéo originales.
- Le système résout des problèmes d'utilisabilité pratiques tels que la latence du streaming, la prévention des hallucinations et les performances pour les gauchers ou les personnes signant avec une seule main.
Le lancement vise à combler le fossé de communication entre les communautés sourdes et entendantes en permettant des interactions plus rapides et plus naturelles sur les appareils mobiles. Le développement a été guidé par le comité consultatif AI Sign Language Advisory Committee (AISLAC) pour garantir un déploiement responsable et une sensibilité culturelle.