Hume 推出了 Real World VoiceEQ，这是一个旨在通过评估系统超越文本转录识别和生成声学信息的能力，来衡量语音交互中人类质量的基准。该基准使用源自 785,000 个 TTS 和 48,000 个 STS 人类评分的超过 60 项指标，在 15 多个维度上评估了 40 多个专有和开源模型。

  • 评估涵盖 ASR、TTS、S2S 和语音理解能力。
  • 数据源自 Kairos 平台，包含来自不同人口统计群体和环境的一百多万个个体人类评分。
  • 研究结果表明没有单一的“最佳”语音模型，因为系统针对不同的优势进行优化，如技术准确性与情感理解。
  • 传统基准不足以应对现实世界条件，性能在口音、噪音和情感方面存在显著差异。
  • 自动语音语言模型 (SLM) 在主观任务上与人类的一致性低于可验证任务。

该基准旨在通过为复杂真实对话中的合成语音交互提供基于人类的评估方法，来扩展定量指标的范式。