أطلقت Hume معيار Real World VoiceEQ، وهو معيار مصمم لتقييم جودة التفاعل الصوتي البشري من خلال تقييم مدى قدرة الأنظمة على التعرف على المعلومات الصوتية وإنتاجها بما يتجاوز النصوص المكتوبة. يقيّم المعيار أكثر من 40 نموذجًا خاصًا ومفتوح المصدر عبر أكثر من 15 بُعدًا باستخدام أكثر من 60 مقياسًا مشتقًا من 785,000 تقييم بشري لـ TTS و48,000 تقييم لـ STS.
- تغطي التقييمات قدرات ASR وTTS وS2S وفهم الكلام.
- تأتي البيانات من منصة Kairos مع أكثر من مليون تقييم فردي بشري عبر ديموغرافيات وبيئات متنوعة.
- أظهرت النتائج عدم وجود نموذج صوتي "أفضل" واحد، حيث تقوم الأنظمة بتحسين نقاط القوة المختلفة مثل الدقة التقنية مقابل الفهم العاطفي.
- المعايير التقليدية غير كافية للظروف الواقعية، مع اختلاف الأداء بشكل كبير حسب اللهجات والضوضاء والعواطف.
- أظهرت نماذج اللغة الصوتية الآلية (SLMs) توافقًا أقل مع البشر في المهام الذاتية مقارنة بالمهام القابلة للتحقق.
يهدف هذا المعيار إلى توسيع نموذج المقاييس الكمية من خلال توفير طريقة تقييم مبنية على الإنسان لتفاعلات الصوت الاصطناعي في محادثات العالم الحقيقي المعقدة.