Freya-TTS publie un modèle TTS turc sans tokenizeur avec un WER de 8,0 %

Les chercheurs présentent Freya-TTS, un modèle de synthèse vocale (TTS) compact et sans tokenizeur, optimisé pour le turc, qui atteint un taux d'erreur de mots (WER) de 8,0 % sur le benchmark Freya-TR-Eval. Le Diffusion Transformer à appariement de flux conditionnel non-autoregressif de 183,2 millions de paramètres opère dans l'espace latent continu figé d'AudioVAE2, permettant une reconstruction haute qualité à 48 kHz sans phonémiseur ni tokenizeur de parole discret.

• Utilise un vocabulaire de caractères turcs de 92 symboles pour la modélisation bout-en-bout sans règles.
• Emploie le débruitage parallèle non-autoregressif pour prédire simultanément toute la séquence latente.
• Utilise une recette d'entraînement postérieur en deux étapes impliquant le verrouillage de voix monologue et la couverture de courtes énonciations.
• Atteint un facteur temps réel de 0,11 sur les GPU grand public et s'exécute plus vite que le temps réel sur les CPU portables.

Le modèle est publié sous licence Apache-2.0, offrant une synthèse conversationnelle efficace adaptée au déploiement en périphérie avec des ressources limitées.