O Google DeepMind e o Android apresentaram o SL2T, um modelo de tradução de língua de sinais para texto (SL2T) massivamente multilíngue que leva a IA de língua de sinais aos produtos de consumo pela primeira vez. A tecnologia alimenta a ditatação de sinais para texto no Gboard e no Live Transcribe do Pixel 11, começando com American Sign Language (ASL) para inglês.

  • O SL2T é treinado com mais de 100.000 horas de dados em mais de 50 línguas de sinais, alcançando uma pontuação zero-shot de 70 BLEURT nos benchmarks FLEURS-ASL.
  • O modelo traduz diretamente a partir das coordenadas dos pontos-chave da pose rastreados pelo MediaPipe Holistic, contornando glossas intermediárias para capturar marcadores não manuais e construções espaciais.
  • A privacidade é mantida enviando apenas coordenadas geométricas ao servidor, permitindo que os dados de vídeo originais sejam descartados imediatamente.
  • O sistema aborda questões práticas de usabilidade, como latência em streaming, prevenção de alucinações e desempenho para canhotos ou pessoas que usam uma mão para assinar.

O lançamento visa reduzir a lacuna de comunicação entre comunidades surdas e ouvintes, permitindo interações mais rápidas e naturais em dispositivos móveis. O desenvolvimento foi guiado pelo AI Sign Language Advisory Committee (AISLAC) para garantir um deploy responsável e sensibilidade cultural.