Исследователи представляют Freya-TTS, компактную модель преобразования текста в речь без токенизатора, оптимизированную для турецкого языка, которая достигает ошибки распознавания слов (WER) на уровне 8,0% на бенчмарке Freya-TR-Eval. Неразвернутая по времени условная диффузионная трансформерная модель с 183,2 млн параметров, основанная на matched flow, работает в замороженном непрерывном латентном пространстве AudioVAE2, обеспечивая высококачественное восстановление сигнала с частотой 48 кГц без использования фонемизатора или дискретного токенизатора речи.
- Использует словарь из 92 символов турецкого алфавита для моделирования end-to-end без правил.
- Применяет параллельное денoising без авторегрессии для одновременного предсказания всей последовательности латентных переменных.
- Использует двухэтапный рецепт постобучения, включающий фиксацию голоса одного говорящего и покрытие коротких высказываний.
- Достигает фактора реального времени 0,11 на потребительских GPU и работает быстрее реального времени на процессорах ноутбуков.
Модель выпущена под лицензией Apache-2.0, предлагая эффективный синтез диалогов, подходящий для развертывания на edge-устройствах с ограниченными ресурсами.