研究者たちは、How2Signの9,872例のサブセット上でSHuBERT-ByT5スタックをファインチューニングすることで、リアルタイムの文レベル手話翻訳システムを開発しました。このモデルは検証用BLEUスコア16.7、テスト用BLEUスコア15.9を達成しました。
システムはハードウェア対応ストリーミングアーキテクチャを利用しており、Raspberry Pi 4Bがキャプチャと表示を担当し、バックエンドが知覚と翻訳を行います。チャンク取り込み、制限付きキュー、時間的再順序付けなどの最適化により、最終確定後の平均応答遅延を1.873秒から1.354秒に削減しました。
これらの改善によりP95遅延が2.919秒から2.130秒に低下し、さまざまなクライアントデバイス間で自然なコミュニケーションを実用的な展開が可能にしています。