Les chercheurs ont développé un système de traduction de phrases en langue des signes en temps réel en affinant une pile SHuBERT-ByT5 sur un sous-ensemble de 9 872 exemples de How2Sign. Le modèle a atteint un BLEU de validation de 16,7 et un BLEU de test de 15,9.
Le système utilise une architecture de streaming consciente du matériel où un Raspberry Pi 4B gère la capture et l'affichage tandis qu'un backend effectue la perception et la traduction. Des optimisations incluant l'ingestion par chunks, des files d'attente bornées et le réordonnancement temporel ont réduit la latence de réponse moyenne post-finalisation de 1,873 à 1,354 secondes.
Ces améliorations abaissent la latence P95 de 2,919 à 2,130 secondes, permettant un déploiement pratique pour une communication naturelle sur divers appareils clients.