研究者らは、暗黙的なクロスモーダルアライメントに依存するのではなく、明示的なマルチグラニュラリティアライメントを導入することで手話翻訳を改善するフレームワークであるVTaMoを発表した。このモデルは、エントロピー正則化最適輸送によるローカルなフレームからトークンへの対応付け、Earth Mover's Distanceを用いたグローバルな埋め込みキャリブレーション、位置合わせされたコントラスティブラーニングの3つのレベルで動画とテキストをアライメントする。

  • ローカルアライメントは、微細な対応付けのために学習可能なヌルトークンを使用する。
  • グローバルアライメントは、埋め込み空間の幾何学をキャリブレーションするために直交変換を採用している。
  • 位置合わせされたコントラスティブラーニングは、判別性の高いトークンレベルの表現を提供する。

Phoenix-2014T、CSL-Daily、How2Sign、OpenASLでの実験により、一貫して最先端のパフォーマンスを示し、アブレーションにより各構成要素の補完的な寄与が確認された。