Hume telah memperkenalkan Real World VoiceEQ, sebuah benchmark yang dirancang untuk mengevaluasi kualitas interaksi suara manusia dengan menilai seberapa baik sistem mengenali dan menghasilkan informasi akustik di luar transkrip. Benchmark ini mengevaluasi lebih dari 40 model proprietary dan open-source di atas 15+ dimensi menggunakan lebih dari 60 metrik yang berasal dari 785.000 penilaian manusia TTS dan 48.000 penilaian STS.
- Evaluasi mencakup kemampuan ASR, TTS, S2S, dan Pemahaman Ucapan.
- Data berasal dari platform Kairos dengan lebih dari 1 juta penilaian manusia individu di berbagai demografi dan lingkungan.
- Temuan menunjukkan tidak ada satu pun model suara "terbaik", karena sistem dioptimalkan untuk kekuatan berbeda seperti akurasi teknis versus pemahaman emosional.
- Benchmark tradisional tidak memadai untuk kondisi dunia nyata, dengan kinerja yang bervariasi secara signifikan pada aksen, kebisingan, dan emosi.
- Model bahasa otomatis (SLMs) menunjukkan kesepakatan lebih rendah dengan manusia pada tugas subjektif dibandingkan dengan tugas yang dapat diverifikasi.
Benchmark ini bertujuan untuk memperluas paradigma metrik kuantitatif dengan menyediakan metode evaluasi berbasis manusia untuk interaksi suara sintetis dalam percakapan dunia nyata yang kompleks.