연구자들은 암시적 교차 모달 정렬에 의존하는 대신 명시적 다중 세분성 정렬을 도입하여 수화 번역을 개선하는 프레임워크인 VTaMo를 제시했습니다. 이 모델은 엔트로피 정규화 최적 운송을 통한 로컬 프레임-토큰 대응, Earth Mover's Distance를 사용한 글로벌 임베딩 보정, 위치 정렬 대비 학습의 세 가지 수준에서 비디오와 텍스트를 정렬합니다.

  • 로컬 정렬은 미세한 대응을 위해 학습 가능한 null 토큰을 사용합니다.
  • 글로벌 정렬은 임베딩 공간 기하학을 보정하기 위해 직교 변환을 사용합니다.
  • 위치 정렬 대비 학습은 판별력 있는 토크레벨 표현을 제공합니다.

Phoenix-2014T, CSL-Daily, How2Sign, OpenASL에서의 실험은 일관된 최첨단 성능을 보여주며, 아블레이션을 통해 각 구성 요소의 보완적 기여가 확인되었습니다.