Los investigadores desarrollaron un sistema de traducción de lengua de señas a nivel de oración en tiempo real ajustando finamente una pila SHuBERT-ByT5 en un subconjunto de 9.872 ejemplos de How2Sign. El modelo logró un BLEU de validación de 16,7 y un BLEU de prueba de 15,9.
El sistema utiliza una arquitectura de streaming consciente del hardware donde una Raspberry Pi 4B maneja la captura y la visualización mientras un backend realiza la percepción y la traducción. Las optimizaciones que incluyen ingestión fragmentada, colas acotadas y reordenamiento temporal redujeron la latencia media de respuesta post-finalización de 1,873 a 1,354 segundos.
Estas mejoras reducen la latencia P95 de 2,919 a 2,130 segundos, permitiendo un despliegue práctico para la comunicación natural en varios dispositivos cliente.