Pesquisadores desenvolveram um sistema de tradução de língua de sinais em nível de sentença em tempo real ajustando finamente uma pilha SHuBERT-ByT5 em um subconjunto de 9.872 exemplos do How2Sign. O modelo alcançou um BLEU de validação de 16,7 e um BLEU de teste de 15,9.
O sistema utiliza uma arquitetura de streaming consciente do hardware onde um Raspberry Pi 4B cuida da captura e exibição enquanto um backend realiza a percepção e a tradução. Otimizações incluindo ingestão em chunks, filas limitadas e reordenação temporal reduziram a latência média de resposta pós-finalização de 1,873 para 1,354 segundos.
Essas melhorias reduzem a latência P95 de 2,919 para 2,130 segundos, permitindo implantação prática para comunicação natural em vários dispositivos cliente.