研究者たちは、ゼロショット音声合成におけるBest-of-N推論が、検証者として使用される特定の自動音声認識（ASR）ファミリーによって混乱され、Whisper、wav2vec 2.0、HuBERTの評価間でランキングの逆転を引き起こすことを特定した。

  • 同じファミリーの検証者-評価者ペアは、ほぼ同一の表現にもかかわらず、クロスファミリーのペアよりもオラクルの余地を2〜3倍多く回復する。
  • 著者は、N=10で1.61%の最低平均単語誤り率（WER）を達成し、F5-TTSより12%の改善となる2つのクロスファミリーランクアンサンブルを提案している。
  • 公式F5-TTS評価器の下で最高の単一検証者を使用すると、WERは2.06%から1.72%に低下し、16.5%の削減となる。

著者は、これらの整合性問題を緩和するために、クロス評価者の三角測量をデフォルトの報告慣行として推奨している。