Hume a introduit Real World VoiceEQ, un benchmark conçu pour évaluer la qualité humaine des interactions vocales en mesurant dans quelle mesure les systèmes reconnaissent et produisent des informations acoustiques au-delà des transcriptions. Le benchmark évalue plus de 40 modèles propriétaires et open-source sur plus de 15 dimensions à l'aide de plus de 60 métriques dérivées de 785 000 évaluations humaines TTS et 48 000 évaluations STS.
- L'évaluation couvre les capacités ASR, TTS, S2S et la compréhension de la parole.
- Les données proviennent de la plateforme Kairos avec plus d'un million d'évaluations humaines individuelles sur diverses démographies et environnements.
- Les résultats montrent qu'il n'existe pas de unique « meilleur » modèle vocal, car les systèmes sont optimisés pour différentes forces comme la précision technique versus la compréhension émotionnelle.
- Les benchmarks traditionnels sont insuffisants pour les conditions réelles, avec des performances variant considérablement selon les accents, le bruit et l'émotion.
- Les modèles de langage automatique (SLMs) ont montré un accord plus faible avec les humains sur les tâches subjectives par rapport aux tâches vérifiables.
Le benchmark vise à étendre le paradigme des métriques quantitatives en fournissant une méthode d'évaluation ancrée sur l'humain pour les interactions vocales synthétiques dans des conversations complexes du monde réel.