Humeは、Real World VoiceEQを導入しました。これは、システムがトランスクリプトを超えて音響情報をどのように認識し生成するかを評価することで、音声インタラクションの人間品質を測定するために設計されたベンチマークです。このベンチマークは、785,000件のTTSおよび48,000件のSTSの人間評価から導出された60以上の指標を用いて、15以上の次元で40以上の独自およびオープンソースモデルを評価します。

  • 評価にはASR、TTS、S2S、および音声理解能力が含まれます。
  • データはKairosプラットフォーム由来であり、多様な人口統計と環境にわたる100万件以上の個別の人間評価を含みます。
  • 結果は、技術的精度 versus 感情的理解のような異なる強みに最適化されているため、「最良」の音声モデルは一つもないことを示しています。
  • 従来のベンチマークは現実世界の条件には不十分であり、アクセント、ノイズ、感情においてパフォーマンスが大幅に異なります。
  • オートメーテッド音声言語モデル（SLMs）は、検証可能なタスクと比較して主観的なタスクにおいて人間との合意度が低いことが示されました。

このベンチマークは、複雑な現実世界の会話における合成音声インタラクションのための人間基盤の評価方法を提供することで、定量指標のパラダイムを拡張することを目指しています。