ASR 패밀리 정렬로 인한 Best-of-N TTS 평가의 혼란

연구자들은 제로샷 텍스트-음성 변환(TTS)에 대한 Best-of-N 추론이 검증자로 사용되는 특정 자동 음성 인식(ASR) 패밀리에 의해 혼란스러워지며, Whisper, wav2vec 2.0, HuBERT 평가자 간에 순위 역전이 발생한다는 것을 확인했습니다.

• 동일 패밀리 검증자-평가자 쌍은 거의 동일한 표현에도 불구하고 교차 패밀리 쌍보다 오라클 여지를 2~3배 더 많이 회복합니다.
• 저자들은 N=10에서 1.61%의 최저 평균 단어 오류율(WER)을 달성하고 F5-TTS 대비 12% 개선된 두 가지 교차 패밀리 랭크 앙상블을 제안합니다.
• 공식 F5-TTS 평가기 하에서 최상의 단일 검증자를 사용하면 WER이 2.06%에서 1.72%로 감소하여 16.5%의 감소를 달성합니다.

저자들은 이러한 정렬 문제를 완화하기 위해 교차 평가자 삼각측량을 기본 보고 관행으로 권장합니다.