研究者らは、質問応答インタラクション中のストリーミング音声対話言語モデルの自然性を評価するために設計されたベンチマークであるSPEARbenchを発表した。

  • このベンチマークはSeamless Interactionコーパスから制御された対話プロンプトを構築し、複数のモデルで推論を実行する。
  • 応答レイテンシ、割り込み、音声品質、ASRの堅牢性、言語および方言の一貫性、感情的な自然さ、対人スタンス、説明可能な分布ベースラインをカバーする多次元評価プロトコルを利用している。
  • 元の人間の回答は比較のための参照条件として機能する。

結果は、現在のモデルが高い信号レベルの品質と低いASRエラーを達成している一方で、レイテンシ、重なり、方言の保持、感情的適応、対人スタンスのダイナミクスにおいて依然として人間の会話行動と異なっていることを示している。