研究人员发现，用于zero-shot text-to-speech的Best-of-N推理受到作为验证器的特定Automatic Speech Recognition (ASR)家族的影响，导致在Whisper、wav2vec 2.0和HuBERT评估器之间出现排名反转。

  • 尽管表示几乎相同，但同家族的验证器-评估器对恢复的oracle headroom是跨家族对的2-3倍。
  • 作者提出了两种跨家族排名集成，在N=10时达到最低的Word Error Rate (WER) 1.61%，比F5-TTS提高了12%。
  • 在官方F5-TTS评估器下使用最佳单个验证器将WER从2.06%降低到1.72%，减少了16.5%。

作者建议将跨评估器三角测量作为默认报告实践，以缓解这些对齐问题。