研究者らは、視覚的および顔面的証拠を同期させることで、矛盾と躊躇を認識するためのフレームワークであるSVF-CRを提案する。この手法は、整列された全動画トークンと切り抜かれた顔面トークンを抽出し、モーダル内自己注意機構および双方向クロス注意機構を通じてそれらをリファインする。

  • 同期されたトークンは、一貫性と不一致のモデリングを通じてセグメントレベルの証拠を構築する前に相互にリファインされる。
  • テキスト的および音響的特徴量は文脈自己注意機構を経て処理され、意思決定段階で視覚・顔面的証拠と融合する。
  • BAH公開評価スプリット上での実験では、マクロF1スコア0.7156を達成し、グローバルトークン融合ベースラインを上回る性能を示した。

このアプローチは、時間的に整列された行動的証拠がモーダル間でどのように相互作用するかをモデリングすることで、認識精度を向上させる。