研究人员提出了VTaMo，这是一个通过引入显式多粒度对齐而非依赖隐式跨模态对齐来改善手语翻译的框架。该模型在三个层级上对齐视频和文本：通过熵正则化最优传输实现局部帧到标记的对应关系，使用地球 mover 距离（Earth Mover's Distance）进行全局嵌入校准，以及位置对齐的对比学习。

  • 局部对齐使用可学习的空标记以实现细粒度对应。
  • 全局对齐采用正交变换来校准嵌入空间的几何结构。
  • 位置对齐的对比学习提供判别性的标记级表示。

在Phoenix-2014T、CSL-Daily、How2Sign和OpenASL上的实验展示了持续的最先进（state-of-the-art）性能，消融实验证实了每个组件的互补贡献。