Исследователи выявили, что инференс Best-of-N для zero-shot text-to-speech искажается из-за конкретного семейства Automatic Speech Recognition (ASR), используемого в качестве верификатора, что приводит к переворотам рейтинга между оценщиками Whisper, wav2vec 2.0 и HuBERT.

  • Пары верификатор-оценщик одного семейства восстанавливают в 2–3 раза больше oracle headroom, чем пары из разных семейств, несмотря на практически идентичные представления.
  • Авторы предлагают два кросс-семейных ансамбля ранжирования, достигающие наименьшего среднего Word Error Rate (WER) 1.61% при N=10, что на 12% лучше, чем у F5-TTS.
  • Использование лучшего одиночного верификатора под официальным оценщиком F5-TTS снижает WER с 2.06% до 1.72%, что составляет снижение на 16.5%.

Авторы рекомендуют кросс-оценочную триангуляцию как стандартную практику отчетности для смягчения этих проблем выравнивания.