Les chercheurs présentent VTaMo, un cadre qui améliore la traduction de la langue des signes en introduisant un alignement multi-granularité explicite plutôt que de s'appuyer sur un alignement inter-modal implicite. Le modèle aligne la vidéo et le texte à trois niveaux : correspondance locale frame-to-token via le transport optimal régularisé par l'entropie, calibration globale des embeddings utilisant la Distance du Marcheur de la Terre (Earth Mover's Distance), et apprentissage contrastif aligné en position.
- L'alignement local utilise un jeton nul apprenable pour les correspondances fines.
- L'alignement global emploie une transformation orthogonale pour calibrer la géométrie de l'espace d'embedding.
- L'apprentissage contrastif aligné en position fournit des représentations discriminatives au niveau du token.
Les expériences sur Phoenix-2014T, CSL-Daily, How2Sign et OpenASL démontrent une performance constante à la pointe de l'état de l'art, avec des ablations confirmant les contributions complémentaires de chaque composant.