연구자들은 How2Sign의 9,872개 예제 하위 집합에서 SHuBERT-ByT5 스택을 파인튜닝하여 실시간 문 단위 수화 번역 시스템을 개발했습니다. 이 모델은 검증용 BLEU 16.7과 테스트용 BLEU 15.9를 달성했습니다.
시스템은 하드웨어 인식 스트리밍 아키텍처를 활용하며, Raspberry Pi 4B가 캡처와 디스플레이를 처리하고 백엔드가 지각과 번역을 수행합니다. 청크 기반 입력, 제한된 큐, 시간적 재정렬 등의 최적화를 통해 최종 확정 후 평균 응답 지연 시간을 1.873초에서 1.354초로 줄였습니다.
이러한 개선으로 P95 지연 시간이 2.919초에서 2.130초로 낮아져, 다양한 클라이언트 기기 간 자연스러운 커뮤니케이션을 위한 실용적인 배포가 가능해졌습니다.