Los investigadores presentan VTaMo, un marco que mejora la traducción de lengua de signos introduciendo una alineación explícita multigranular en lugar de depender de una alineación cruzada modal implícita. El modelo alinea video y texto en tres niveles: correspondencia local cuadro-a-token mediante transporte óptimo regularizado por entropía, calibración global de incrustaciones usando la Distancia del Transportista de Tierra (Earth Mover's Distance), y aprendizaje contrastivo alineado en posición.
- La alineación local utiliza un token nulo aprendible para correspondencias finas.
- La alineación global emplea una transformación ortogonal para calibrar la geometría del espacio de incrustaciones.
- El aprendizaje contrastivo alineado en posición proporciona representaciones discriminativas a nivel de token.
Los experimentos en Phoenix-2014T, CSL-Daily, How2Sign y OpenASL demuestran un rendimiento consistente de vanguardia (state-of-the-art), con ablativos que confirman las contribuciones complementarias de cada componente.