Les auteurs présentent BlueMagpie-TTS, un système conçu pour pallier la faible adaptation des modèles de synthèse vocale (TTS) hors du commerce aux accents mandarin taïwanais et aux contextes de code-switching. Le système intègre PangolinTokenizer, le modèle linguistique Barbet et la pile acoustique VoxCPM2 afin de réduire les erreurs de tokenisation et d'améliorer la précision de la prononciation.
- PangolinTokenizer atteint le taux de tokens le plus bas (0,485 tokens/caractère) parmi neuf tokenizers testés.
- Barbet, un modèle linguistique chinois traditionnel de milliards de paramètres, se classe premier sur une évaluation à 14 tâches.
- BlueMagpie-TTS réduit le Taux d'Erreur de Caractères (CER) de 11,45 % à 4,81 % et le Taux d'Erreur de Mots (WER) de 14,83 % à 5,36 %.
- Lors des tests d'écoute en aveugle, 65,6 % des votes majoritaires ont préféré BlueMagpie-TTS aux autres systèmes.
Le système apporte des améliorations significatives en termes de précision et de naturel pour la synthèse vocale en code-switching avec un accent taïwanais.