शोधकर्ताओं ने पहचाना कि zero-shot text-to-speech के लिए Best-of-N इनफरेंस एक विशिष्ट Automatic Speech Recognition (ASR) परिवार द्वारा भ्रमित है जो वरीयक के रूप में उपयोग किया जाता है, जिससे Whisper, wav2vec 2.0 और HuBERT मूल्यांककों के बीच रैंकिंग उलट जाती है।
- समान-परिवार वरीयक-मूल्यांकक जोड़े लगभग समान प्रतिनिधित्व के बावजूद क्रॉस-परिवार जोड़ों की तुलना में 2-3 गुना अधिक oracle headroom पुनर्प्राप्त करते हैं।
- लेखकों ने दो क्रॉस-परिवार रैंक एनसेम्बल्स का प्रस्ताव दिया जो N=10 पर 1.61% का न्यूनतम माध्य Word Error Rate (WER) प्राप्त करते हैं, जो F5-TTS की तुलना में 12% की सुधार है।
- आधिकारिक F5-TTS मूल्यांकक के तहत सर्वोत्तम एकल वरीयक का उपयोग करने से WER को 2.06% से 1.72% तक कम किया जाता है, जो 16.5% की कमी है।
लेखक इन एलाइनमेंट समस्याओं को कम करने के लिए डिफ़ॉल्ट रिपोर्टिंग प्रैक्टिस के रूप में क्रॉस-मूल्यांकक त्रिभुजन की सिफारिश करते हैं।