연구자들은 현재 파운데이션 ASR 모델의 높은 제로샷 단어 오류율(WER)을 해결하기 위해 6개의 남부 반투어에 대한 톤 조건부 커리큘럼 프레임워크를 개발했다. 이 접근 방식은 하이브리드 난이도 스코어링, 음운 통계에 의해 구동되는 게이트 어댑터, 그리고 커뮤니티 코퍼스에서의 단계적 커리큘럼 학습을 결합한다.

  • 톤 조건부 W2V-BERT는 데이터셋 간 평균 WER 28.41%, Xitsonga 이전에서 23.79%를 달성했다.
  • W2V-BERT는 Nguni 언어에서 Whisper보다 WER 점수에서 3~4점 더 우수했으며, 반면 Whisper는 Sotho-Tswana 언어에서 더 나은 성능을 보였다.
  • 단일 모델이 모든 6개 언어에 적합하지 않았으며, 이는 배포 시 언어별로 모델을 선택하고 코퍼스 간 검증을 수행해야 함을 시사한다.

본 연구는 아키텍처와 언어 간의 명확한 상호작용을 강조하며, 효과적인 배포를 위해서는 보편적 솔루션에 의존하기보다 각 언어에 맞는 특정 모델을 선택해야 함을 제안한다.