Hume ने Real World VoiceEQ पेश किया है, एक बेंचमार्क जो प्रणालियों ट्रांसक्रिप्ट के परे ध्वनि जानकारी को कितनी अच्छी तरह पहचानती और उत्पन्न करती हैं, इसका आकलन करके आवाज़ इंटरैक्शन की मानव गुणवत्ता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। बेंचमार्क 785,000 TTS और 48,000 STS मानव रेटिंग्स से व्युत्पन्न 60 से अधिक मेट्रिक्स का उपयोग करके 15+ आयामों में 40 से अधिक प्रोप्राइटरी और ओपन-सोर्स मॉडल्स का मूल्यांकन करता है।
- मूल्यांकन ASR, TTS, S2S, और स्पीच अंडरस्टैंडिंग क्षमताओं को कवर करता है।
- डेटा विविध जनसांख्यिकीय और वातावरण में 1 मिलियन से अधिक व्यक्तिगत मानव रेटिंग्स के साथ Kairos प्लेटफ़ॉर्म से आता है।
- निष्कर्ष दिखाते हैं कि कोई एक "सर्वश्रेष्ठ" आवाज़ मॉडल नहीं है, क्योंकि प्रणालियाँ तकनीकी सटीकता बनाम भावनात्मक समझ जैसे विभिन्न मजबूत पक्षों के लिए अनुकूलित होती हैं।
- परंपरागत बेंचमार्क्स वास्तविक दुनिया की स्थितियों के लिए अपर्याप्त हैं, जहाँ प्रदर्शन अलग-अलग उच्चारण, शोर और भावना पर महत्वपूर्ण रूप से भिन्न होता है।
- स्वचालित स्पीच-लैंग्वेज मॉडल्स (SLM) ने सत्यापनीय कार्यों की तुलना में व्यक्तिगत कार्यों में मानवों के साथ कम सहमति दिखाई।
बेंचमार्क जटिल वास्तविक संवादों में संश्लेषित आवाज़ इंटरैक्शन के लिए एक मानव-आधारित मूल्यांकन विधि प्रदान करके मात्रात्मक मेट्रिक्स के पैराडाइम का विस्तार करने का लक्ष्य रखता है।