研究人员通过在 How2Sign 的 9,872 个示例子集上微调 SHuBERT-ByT5 堆栈，开发了一种实时的句子级手语翻译系统。该模型达到了 16.7 的验证 BLEU 和 15.9 的测试 BLEU。
该系统利用硬件感知的流式架构，其中 Raspberry Pi 4B 负责捕获和显示，而后端负责感知和翻译。包括分块摄入、有界队列和时间重排序在内的优化措施将最终确认后的平均响应延迟从 1.873 秒降低到 1.354 秒。
这些改进将 P95 延迟从 2.919 秒降低到 2.130 秒，使得在各种客户端设备上进行自然通信的实际部署成为可能。