研究者らは、手話側と音声側の両方で異言語間の競合を同時に緩和する、多言語手話翻訳のための統合フレームワークであるQ-BridgeNetを提案した。

  • 手話側では、共有および言語固有のコードブックを用いた適応的セグメンテーションと残差ベクトル量子化により、離散Q-unitsを学習する。
  • 音声側では、異言語事前知識を活用してQ-unit空間で動作するように多言語LLMをファインチューニングする。
  • PHOENIX14T、How2Sign、CSL-Dailyでの実験は、ネイティブペアにおいて最先端のパフォーマンスを示し、非ネイティブペアへの強力な汎化能力を示した。

このアプローチは、共有される意味を捉えつつ言語固有の変動性を保持することで、多様な手話および音声言語コミュニティ間のコミュニケーションを可能にする。