Авторы представляют BlueMagpie-TTS, систему, предназначенную для решения проблемы плохой адаптации готовых моделей синтеза речи (TTS) к тайваньскому акценту мандаринского языка и контекстам кодовой смены. Система интегрирует PangolinTokenizer, языковую модель Barbet и акустический стек VoxCPM2 для снижения ошибок токенизации и повышения точности произношения.
- PangolinTokenizer демонстрирует наименьший уровень токенизации (0.485 токенов/символ) среди девяти протестированных токенизаторов.
- Barbet, языковая модель на миллиард параметров для традиционного китайского языка, занимает первое место в оценке по 14 задачам.
- BlueMagpie-TTS снижает ошибку символов (Character Error Rate) с 11.45% до 4.81% и ошибку слов (Word Error Rate) с 14.83% до 5.36%.
- В слепых прослушиваниях большинство голосов (65.6%) отдало предпочтение BlueMagpie-TTS перед другими системами.
Система обеспечивает значительное улучшение точности и естественности синтеза речи с кодовой сменой, имеющей тайваньский акцент.