研究人员推出了 SPEARBench，这是一个旨在评估问答交互中流式语音到语音语言模型自然度的基准。

  • 该基准利用 Seamless Interaction 语料库构建受控对话提示，并在多个模型上运行推理。
  • 它采用多维评估协议，涵盖响应延迟、中断、语音质量、ASR 鲁棒性、语言和方言一致性、情感自然度、人际立场以及可解释的分布基线。
  • 原始人类答案作为比较的参考条件。

结果表明，尽管当前模型在信号级质量和低 ASR 错误方面表现优异，但在延迟、重叠、方言保留、情感适应和人际立场动态方面仍与人类对话行为存在差异。