多模态语音活动预测框架提升社交机器人的对话轮次切换

作者提出了一种多模态语音活动预测（MM-VAP）框架，将仅基于音频的语音活动预测扩展到调解场景下社交机器人的同步音视频输入。该方法通过 Low-Rank Adaptation 调整预训练的音视频骨干网络，并利用说话人间注意力来建模关系动态，以预测未来的语音活动。

• 引入语义一致性损失，基于更高层级的对话模式对256状态输出空间进行正则化。
• 在 NoXi 和 NoXi+ 数据集上证明了优于当前基线的性能，特别是在特定的轮次切换事件上。
• 通过在 Haru EDR 语料库上进行额外评估，验证了其在面向调解的人机交互中的适用性。

该方法使机器人能够预判对话动态，而不仅仅是响应停顿，从而提高了它们在人际互动场景中的有效性。