Исследователи разработали систему перевода языка жестов на уровне предложений в реальном времени, дообучив стек SHuBERT-ByT5 на подмножестве How2Sign из 9 872 примеров. Модель достигла валидационного BLEU 16,7 и тестового BLEU 15,9.
Система использует аппаратно-ориентированную потоковую архитектуру, где Raspberry Pi 4B отвечает за захват и отображение, а бэкенд — за восприятие и перевод. Оптимизации, включая пакетное потребление, очереди с ограниченным размером и временную переупорядочивание, снизили среднюю задержку ответа после финализации с 1,873 до 1,354 секунды.
Эти улучшения снизили P95-задержку с 2,919 до 2,130 секунды, что делает возможным практическое развертывание для естественного общения на различных клиентских устройствах.