حدد الباحثون أن الاستدلال Best-of-N للنص إلى كلام بدون تدريب مسبق يتأثر بعائلة التعرف التلقائي على الكلام (ASR) المحددة المستخدمة كمدقق، مما يسبب انقلابات في الترتيب بين مقيِّمي Whisper و wav2vec 2.0 و HuBERT.

  • تستعيد أزواج المدقق-المقيِّم من نفس العائلة هامش الأوراكل أكثر بـ 2-3 مرات من الأزواج عبر العائلات رغم تشابه التمثيلات بشكل شبه تام.
  • يقترح المؤلفون مجموعتين لترتيب التقييم عبر العائلات تحققان أدنى متوسط لمعدل خطأ الكلمات (WER) بنسبة 1.61% عند N=10، وهو تحسن بنسبة 12% مقارنة بـ F5-TTS.
  • استخدام أفضل مدقق فردي تحت مقيِّم F5-TTS الرسمي يخفض معدل WER من 2.06% إلى 1.72%, أي انخفاض بنسبة 16.5%.

يوصي المؤلفون بالمثلثية عبر المقيِّمين ك practice تقرير افتراضي للتخفيف من هذه مشاكل المحاذاة.