Para peneliti menyajikan VTaMo, sebuah kerangka kerja yang meningkatkan terjemahan bahasa isyarat dengan memperkenalkan penyesuaian multi-granularitas eksplisit alih-alih mengandalkan penyesuaian lintas-modal implisit. Model ini menyesuaikan video dan teks pada tiga tingkat: korespondensi frame-ke-token lokal melalui optimal transport yang diregularisasi entropi, kalibrasi embedding global menggunakan Earth Mover's Distance, dan pembelajaran kontrasiselaras posisi.
- Penyesuaian lokal menggunakan token null yang dapat dipelajari untuk korespondensi halus.
- Penyesuaian global menggunakan transformasi ortogonal untuk mengkalibrasi geometri ruang embedding.
- Pembelajaran kontrasiselaras posisi memberikan representasi tingkat token yang diskriminatif.
Eksperimen pada Phoenix-2014T, CSL-Daily, How2Sign, dan OpenASL menunjukkan kinerja state-of-the-art yang konsisten, dengan ablasi yang mengkonfirmasi kontribusi komplementer dari setiap komponen.