Evaluasi TTS Best-of-N terganggu oleh kecocokan keluarga ASR

Peneliti mengidentifikasi bahwa inferensi Best-of-N untuk text-to-speech zero-shot terganggu oleh keluarga Automatic Speech Recognition (ASR) spesifik yang digunakan sebagai verifier, menyebabkan pembalikan peringkat di antara evaluator Whisper, wav2vec 2.0, dan HuBERT.

• Pasangan verifier-evaluator keluarga yang sama memulihkan ruang oracle 2-3 kali lebih banyak daripada pasangan lintas-keluarga meskipun representasinya hampir identik.
• Penulis mengusulkan dua ensemble peringkat lintas-keluarga yang mencapai Word Error Rate (WER) rata-rata terendah sebesar 1,61% pada N=10, peningkatan 12% dibandingkan F5-TTS.
• Menggunakan verifier tunggal terbaik di bawah evaluator F5-TTS resmi menurunkan WER dari 2,06% menjadi 1,72%, yaitu pengurangan 16,5%.

Penulis merekomendasikan triangulasi evaluator silang sebagai praktik pelaporan default untuk mengurangi masalah kecocokan ini.