著者らは、メディエーター設定におけるソーシャルロボット向けに、単一オーディオの音声活動予測を同期したオーディオビジュアル入力へ拡張するマルチモーダル音声活動予測（MM-VAP）フレームワークを発表しました。このアプローチは、低ランク適応を用いて事前学習済みオーディオビジュアルバックボーンを適応させ、話者間注意機構を使用して将来の音声活動を予測するための関係性をモデル化します。

  • より高レベルの対話パターンに基づいて256状態の出力空間を正則化する意味的一貫性損失を導入しました。
  • NoXiおよびNoXi+Jデータセットにおいて現在のベースラインを上回る改善を示し、特に特定のターンテイキングイベントで顕著でした。
  • Haru EDRコーパスでの追加評価を通じて、仲介指向の人間ロボット相互作用への適合性を検証しました。

この手法により、ロボットは単に沈黙に反応するだけでなく、会話の動態を先読みすることが可能になり、人間間相互作用シナリオにおけるその有効性が向上します。