Исследователи предлагают SVF-CR, фреймворк для распознавания амбивалентности и нерешительности путем синхронизации визуальных и лицевых данных. Метод извлекает выровненные токены всего видео и обрезанного лица, уточняя их через внутри-модальное само-внимание и двунаправленное кросс-внимание.

  • Синхронизированные токены взаимно уточняются перед построением сегментных доказательств через моделирование согласованности и расхождений.
  • Текстовые и акустические признаки проходят контекстное само-внимание и сливаются с визуальными-лицевыми доказательствами на этапе принятия решения.
  • Эксперименты на публичном наборе BAH достигают макро-F1 0.7156, превосходя базовые методы глобального слияния токенов.

Подход улучшает точность распознавания за счет моделирования взаимодействия временно выровненных поведенческих доказательств между модальностями.