Avaliação Best-of-N de TTS confundida pelo alinhamento de famílias ASR

Pesquisadores identificam que a inferência Best-of-N para text-to-speech zero-shot é confundida pela família específica de Automatic Speech Recognition (ASR) usada como verificador, causando inversões de ranking entre os avaliadores Whisper, wav2vec 2.0 e HuBERT.

• Pares verificador-avaliador da mesma família recuperam 2-3 vezes mais oracle headroom do que pares interfamíliares apesar de representações quase idênticas.
• Os autores propõem dois conjuntos de rank interfamiliares que atingem o menor Word Error Rate (WER) médio de 1.61% em N=10, uma melhoria de 12% sobre F5-TTS.
• Usar o melhor verificador único sob o avaliador oficial do F5-TTS reduz o WER de 2.06% para 1.72%, uma redução de 16.5%.

Os autores recomendam a triangulação de avaliadores cruzados como a prática padrão de relatórios para mitigar esses problemas de alinhamento.