Hume은 시스템이 트랜스크립트를 넘어 음향 정보를 얼마나 잘 인식하고 생성하는지를 평가함으로써 음성 상호작용의 인간 품질을 측정하도록 설계된 벤치마크인 Real World VoiceEQ를 소개했습니다. 이 벤치마크는 785,000개의 TTS 및 48,000개의 STS 인간 평가에서 도출된 60개 이상의 지표를 사용하여 15개 이상의 차원에서 40개 이상의 독점 및 오픈소스 모델을 평가합니다.
- 평가에는 ASR, TTS, S2S 및 음성 이해 능력이 포함됩니다.
- 데이터는 Kairos 플랫폼에서 유래했으며 다양한 인구통계학적 배경과 환경에 걸쳐 100만 개 이상의 개별 인간 평가를 포함합니다.
- 결과는 기술적 정확성 versus 감정적 이해와 같은 서로 다른 강점에 최적화되어 있기 때문에 '최고'의 음성 모델은 하나도 없다는 것을 보여줍니다.
- 기존 벤치마크는 현실 세계 조건에는 불충분하며, 억양, 노이즈 및 감정에서 성능이 크게 다릅니다.
- 자동화된 음성 언어 모델(SLMs)은 검증 가능한 작업에 비해 주관적인 작업에서 인간과의 일치도가 낮은 것으로 나타났습니다.
이 벤치마크는 복잡한 현실 세계 대화에서의 합성 음성 상호작용을 위한 인간 기반 평가 방법을 제공함으로써 정량적 지표의 패러다임을 확장하는 것을 목표로 합니다.