Исследователи представляют VTaMo, фреймворк, который улучшает перевод жестового языка за счет введения явного многоуровневого выравнивания вместо reliance на неявное кросс-модальное выравнивание. Модель выравнивает видео и текст на трех уровнях: локальное соответствие «кадр-токен» через энтропийно-регуляризованный оптимальный транспорт, глобальная калибровка эмбеддингов с использованием расстояния Землера (Earth Mover's Distance) и контрастное обучение с позиционным выравниванием.
- Локальное выравнивание использует обучаемый нулевой токен для тонкогранного соответствия.
- Глобальное выравнивание применяет ортогональное преобразование для калибровки геометрии пространства эмбеддингов.
- Контрастное обучение с позиционным выравниванием обеспечивает дискриминативные представления на уровне токенов.
Эксперименты на наборах данных Phoenix-2014T, CSL-Daily, How2Sign и OpenASL демонстрируют последовательное состояние передового уровня (state-of-the-art), а аблиационные исследования подтверждают комплементарный вклад каждого компонента.