La evaluación Best-of-N de TTS se ve confundida por la alineación de familias ASR

Los investigadores identifican que la inferencia Best-of-N para text-to-speech zero-shot está confundida por la familia específica de Automatic Speech Recognition (ASR) utilizada como verificador, causando inversiones de ranking entre los evaluadores Whisper, wav2vec 2.0 y HuBERT.

• Los pares verificador-evaluador de la misma familia recuperan 2-3 veces más oracle headroom que los pares interfamiliares a pesar de tener representaciones casi idénticas.
• Los autores proponen dos conjuntos de rango interfamiliares que alcanzan el Word Error Rate (WER) medio más bajo de 1.61% en N=10, una mejora del 12% sobre F5-TTS.
• Usar el mejor verificador único bajo el evaluador oficial de F5-TTS reduce el WER de 2.06% a 1.72%, una reducción del 16.5%.

Los autores recomiendan la triangulación de evaluadores cruzados como la práctica de reporte por defecto para mitigar estos problemas de alineación.