Google DeepMind y Android han presentado SL2T, un modelo de traducción de lengua de señas a texto (SL2T) masivamente multilingüe que lleva la IA de lenguas de señas a productos de consumo por primera vez. La tecnología impulsa la transcripción de señas a texto en Gboard y Live Transcribe en Pixel 11, comenzando con la Lengua de Señas Americana (ASL) al inglés.
- SL2T está entrenado con más de 100.000 horas de datos en más de 50 lenguas de señas, alcanzando una puntuación zero-shot de 70 BLEURT en los benchmarks FLEURS-ASL.
- El modelo traduce directamente desde las coordenadas de puntos clave de pose rastreados por MediaPipe Holistic, omitiendo los glosas intermedias para capturar marcadores no manuales y construcciones espaciales.
- La privacidad se mantiene enviando solo coordenadas geométricas al servidor, lo que permite descartar inmediatamente los datos de video originales.
- El sistema aborda problemas prácticos de usabilidad como la latencia en streaming, la prevención de alucinaciones y el rendimiento para firmantes zurdos o con una sola mano.
El lanzamiento tiene como objetivo cerrar la brecha de comunicación entre las comunidades sordas y oyentes, permitiendo una interacción más rápida y natural en dispositivos móviles. El desarrollo fue guiado por el Comité Asesor de IA para Lenguas de Señas (AISLAC) para garantizar un despliegue responsable y sensibilidad cultural.