Les chercheurs proposent SVF-CR, un cadre pour reconnaître l'ambivalence et l'hésitation en synchronisant les preuves visuelles et faciales. La méthode extrait des tokens entiers vidéo alignés et des tokens de visage recadré, qu'elle affine via une auto-attention intra-modale et une attention croisée bidirectionnelle.
- Les tokens synchronisés sont mutuellement affinés avant la construction de preuves au niveau du segment via la modélisation de la cohérence et de l'écart.
- Les caractéristiques textuelles et acoustiques subissent une auto-attention contextuelle et fusionnent avec les preuves visuelles-faciales à l'étape de décision.
- Les expériences sur le split d'évaluation public BAH atteignent un macro-F1 de 0.7156, surpassant les bases de fusion de tokens globaux.
L'approche améliore la précision de reconnaissance en modélisant comment les preuves comportementales alignées temporellement interagissent à travers les modalités.