연구자들은 시각적 및 안면 증거를 동기화하여 애매모호성과 주저를 인식하기 위한 프레임워크인 SVF-CR을 제안한다. 이 방법은 정렬된 전체 비디오 토큰과 잘려진 안면 토큰을 추출하고, 모달 내 자기 주의와 양방향 교차 주의를 통해 이를 정제한다.
- 동기화된 토큰은 일관성 및 불일치 모델링을 통해 세그먼트 수준 증거를 구성하기 전에 상호 정제된다.
- 텍스트 및 음향 특징은 문맥 자기 주의를 거쳐 결정 단계에서 시각-안면 증거와 융합된다.
- BAH 공개 평가 분할 실험에서 매크로 F1 0.7156을 달성하여 글로벌 토큰 융합 기반 모델보다 우수한 성능을 보였다.
이 접근 방식은 시간적으로 정렬된 행동적 증거가 모달 간에 어떻게 상호작용하는지를 모델링함으로써 인식 정확도를 향상시킨다.