研究者らは、二項音声における感情同期を検出するためのデータセットDyadEEを導入し、これらの相互作用を音響埋め込みの順序付きシーケンスとしてモデル化するウィンドウレベルのフレームワークTRACEを提案します。本研究は、会話の文脈と関係情報を組み込むことで検出精度が大幅に向上することを示しています。

  • DyadEEデータセットには、感情同期された会話と、パートナーの入れ替えおよび感情再合成によって同期を乱した合成相互作用の両方が含まれています。
  • TRACEは、プーリングされた発話ではなく、感情ファインチューニングされたWhisper表現を使用して、各サンプルを相互作用の軌跡として扱います。
  • このモデルは、時間関係認識型モデリングを活用し、DyadEEデータセットで97.01%の最高精度を達成しました。