Os autores apresentam o BlueMagpie-TTS, um sistema projetado para abordar a má adaptação de modelos de texto-para-fala (TTS) prontos ao uso aos sotaques do mandarim taiwanês e contextos de alternância de código. O sistema integra PangolinTokenizer, o modelo de linguagem Barbet e a pilha acústica VoxCPM2 para reduzir erros de tokenização e melhorar a precisão da pronúncia.
- PangolinTokenizer alcança a menor taxa de tokens (0.485 tokens/caractere) entre nove tokenizers testados.
- Barbet, um modelo de linguagem de bilhões de parâmetros em chinês tradicional, ocupa o primeiro lugar em uma avaliação de 14 tarefas.
- BlueMagpie-TTS reduz a Taxa de Erro de Caracteres (Character Error Rate) de 11.45% para 4.81% e a Taxa de Erro de Palavras (Word Error Rate) de 14.83% para 5.36%.
- Em testes de audição cega, 65,6% dos votos majoritários preferiram o BlueMagpie-TTS em relação a outros sistemas.
O sistema proporciona melhorias significativas na precisão e naturalidade para a síntese de fala com alternância de código e sotaque taiwanês.