Los investigadores presentan Freya-TTS, un modelo compacto de texto a voz sin tokenizador optimizado para turco que alcanza una tasa de error de palabras (WER) del 8,0% en la benchmark Freya-TR-Eval. El Diffusion Transformer condicional no autoregresivo con 183,2 millones de parámetros, basado en matched flow, opera en el espacio latente continuo congelado de AudioVAE2, permitiendo una reconstrucción de alta calidad a 48 kHz sin fonemizador ni tokenizador de habla discreto.
- Utiliza un vocabulario de 92 símbolos del alfabeto turco para modelado end-to-end sin reglas.
- Emplea denoising paralelo no autoregresivo para predecir toda la secuencia latente simultáneamente.
- Utiliza una receta de post-entrenamiento en dos etapas que incluye bloqueo de voz de un solo hablante y cobertura de utterances cortos.
- Logra un factor de tiempo real de 0,11 en GPUs de consumo y corre más rápido que el tiempo real en CPUs de portátiles.
El modelo se libera bajo la licencia Apache-2.0, ofreciendo síntesis conversacional eficiente adecuada para despliegue edge con recursos limitados.