研究人员提出了 SVF-CR，一种通过同步视觉和面部证据来识别矛盾和犹豫的框架。该方法提取对齐的全视频和裁剪面部标记，并通过模态内自注意力和双向交叉注意力进行精炼。

  • 在通过一致性和差异建模构建片段级证据之前，同步标记会相互精炼。
  • 文本和声学特征经过上下文自注意力处理，并在决策阶段与视觉-面部证据融合。
  • 在 BAH 公共评估集上的实验达到了 0.7156 的 macro-F1，优于全局标记融合基线。

该方法通过建模时间对齐的行为证据如何在不同模态间交互，提高了识别准确率。