Pesquisadores propõem o SVF-CR, um framework para reconhecer ambivalência e hesitação sincronizando evidências visuais e faciais. O método extrai tokens de vídeo inteiro alinhados e de rosto recortado, refinando-os por meio de autoatenção intra-modal e atenção cruzada bidirecional.
- Os tokens sincronizados são mutuamente refinados antes de construir evidência em nível de segmento via modelagem de consistência e discrepância.
- Características textuais e acústicas passam por autoatenção contextual e se fundem com as evidências visuais-faciais na etapa de decisão.
- Experimentos no split de avaliação pública BAH alcançam um macro-F1 de 0.7156, superando baselines de fusão global de tokens.
A abordagem melhora a precisão do reconhecimento modelando como as evidências comportamentais alinhadas temporalmente interagem entre modalidades.