Freya-TTS lança modelo de TTS turco sem tokenizador com WER de 8,0%

Pesquisadores apresentam o Freya-TTS, um modelo compacto de texto para fala sem tokenizador otimizado para turco que alcança uma taxa de erro de palavras (WER) de 8,0% no benchmark Freya-TR-Eval. O Diffusion Transformer condicional não autoregressivo com 183,2 milhões de parâmetros, baseado em matched flow, opera no espaço latente contínuo congelado do AudioVAE2, permitindo reconstrução de alta qualidade a 48 kHz sem fonemizador ou tokenizador de fala discreto.

• Utiliza um vocabulário de 92 símbolos do alfabeto turco para modelagem end-to-end sem regras.
• Emprega denoising paralelo não autoregressivo para prever toda a sequência latente simultaneamente.
• Utiliza uma receita de pós-treinamento em duas etapas envolvendo travamento de voz de um único falante e cobertura de utterances curtos.
• Alcança um fator de tempo real de 0,11 em GPUs de consumo e roda mais rápido que o tempo real em CPUs de laptops.

O modelo é lançado sob a licença Apache-2.0, oferecendo síntese conversacional eficiente adequada para implantação edge com recursos limitados.