L'évaluation Best-of-N de la synthèse vocale est faussée par l'alignement des familles ASR

Les chercheurs ont identifié que l'inférence Best-of-N pour la synthèse vocale zéro-shot est faussée par la famille spécifique de Reconnaissance Automatique de la Parole (ASR) utilisée comme vérificateur, provoquant des inversions de classement entre les évaluateurs Whisper, wav2vec 2.0 et HuBERT.

• Les paires vérificateur-évaluateur de même famille récupèrent 2 à 3 fois plus de marge oracle que les paires inter-familles malgré des représentations quasi identiques.
• Les auteurs proposent deux ensembles de rangs inter-familles qui atteignent le taux d'erreur de mots (WER) moyen le plus bas de 1,61 % à N=10, soit une amélioration de 12 % par rapport à F5-TTS.
• L'utilisation du meilleur vérificateur unique sous l'évaluateur officiel F5-TTS fait passer le WER de 2,06 % à 1,72 %, soit une réduction de 16,5 %.

Les auteurs recommandent la triangulation inter-évaluateurs comme pratique de rapport par défaut pour atténuer ces problèmes d'alignement.