VTaMo introduz alinhamento explícito multigranular para tradução de língua de sinais

Pesquisadores apresentam o VTaMo, um framework que melhora a tradução de língua de sinais ao introduzir alinhamento explícito multigranular em vez de depender de alinhamento cross-modal implícito. O modelo alinha vídeo e texto em três níveis: correspondência local frame-to-token via transporte ótimo regularizado por entropia, calibração global de embeddings usando Earth Mover's Distance, e aprendizado contrastivo alinhado por posição.

• O alinhamento local usa um token nulo aprendível para correspondências finas.
• O alinhamento global emprega uma transformação ortogonal para calibrar a geometria do espaço de embedding.
• O aprendizado contrastivo alinhado por posição fornece representações discriminativas em nível de token.

Experimentos no Phoenix-2014T, CSL-Daily, How2Sign e OpenASL demonstram desempenho state-of-the-art consistente, com ablações confirmando as contribuições complementares de cada componente.