저자들은 기성 텍스트-투-스피치 모델이 대만 중국어 억양과 코드 스위칭 상황에 대한 적응력이 부족하다는 문제를 해결하도록 설계된 시스템인 BlueMagpie-TTS를 소개합니다. 이 시스템은 토큰화 오류를 줄이고 발음 정확도를 향상시키기 위해 PangolinTokenizer, Barbet 언어 모델 및 VoxCPM2 음향 스택을 통합합니다.

  • PangolinTokenizer는 테스트된 9개의 토크나이저 중 가장 낮은 토큰률(0.485 토큰/문자)을 달성했습니다.
  • 10억 파라미터 전통 중국어 언어 모델인 Barbet은 14개 과제 평가에서 1위를 차지했습니다.
  • BlueMagpie-TTS는 문자 오류율을 11.45%에서 4.81%로, 단어 오류율을 14.83%에서 5.36%로 낮췄습니다.
  • 맹목 청취 테스트에서 과반수 투표가 다른 시스템보다 BlueMagpie-TTS를 선호했습니다(65.6%).

이 시스템은 대만 중국어 억양의 코드 스위칭 음성 합성에 대해 정확도와 자연스러움에서 상당한 개선을 제공합니다.