研究人员推出了 Freya-TTS,这是一种紧凑的、无需分词器的文本转语音模型,针对土耳其语进行了优化,在 Freya-TR-Eval 基准测试中实现了 8.0% 的词错误率(WER)。该拥有 1.832 亿参数的非自回归条件流匹配 Diffusion Transformer 在 AudioVAE2 的冻结连续潜在空间中运行,无需音素化器或离散语音分词器即可实现高质量的 48 kHz 重建。
- 使用包含 92 个土耳其语字符的词汇表进行无规则的端到端建模。
- 采用非自回归并行去噪技术同时预测整个潜在序列。
- 利用涉及单说话人声音锁定和短语句覆盖的两阶段后训练方案。
- 在消费级 GPU 上实现 0.11 的实时因子,并在笔记本电脑 CPU 上实现超实时运行。
该模型以 Apache-2.0 许可证发布,提供高效的对话合成能力,适合资源受限的边缘部署。