AuK技术报告介绍了一个开源基础模型，该模型通过自然语言指令和音频上下文统一了语音生成和编辑。
- 该模型在五个任务家族上使用了约30.3亿条指令-音频实例和195万小时的监督数据进行训练。
- 架构结合了多模态大语言模型、用于声学条件的VAE以及混合整流流Transformer。
- 后训练包括人类反馈偏好优化和基于奖励的强化学习。
- AuK-Flash实现了4步推理，相比完整模型在墙钟时间上加速了4.5倍。
作者发布了源代码和模型权重，以支持可重复性和进一步的研究。
arxiv
arXiv cs.CL
·
1 天前
·
research
AuK技术报告：用于语音生成和编辑的开源基础模型
译自 English → 中文
相关文章
arxiv
arXiv cs.LG
·
1 天前
·
1 次浏览
TontaubeV1 实现具有有界上下文的流式文本转语音
研究人员展示了 TontaubeV1，这是一种文本转语音模型，在保持自然韵律的同时，支持从单张消费级 GPU 进行流式推理。该系统使用 12.5 Hz 的层级 DualCodec 表示法，将语义流与声学细化分离，从而实现低延迟生成。
arxiv
arXiv cs.CL
·
1 天前
·
1 次浏览
TontaubeV1 实现具有有界上下文的流式文本转语音
研究人员推出了 TontaubeV1，这是一种文本转语音模型，在保持自然韵律的同时，支持从单个消费级 GPU 进行流式推理。该系统使用 12.5 Hz 的层次化 DualCodec 表示法，将语义流与声学细化分离开来，从而尽管底层编解码器具有非因果特性，仍可实现因果解码。
arxiv
arXiv cs.CL
·
59 天前
·
2 次浏览
Freya-TTS 发布无分词器土耳其语音合成模型，WER 为 8.0%
研究人员推出了 Freya-TTS，这是一种紧凑的、无需分词器的文本转语音模型，针对土耳其语进行了优化，在 Freya-TR-Eval 基准测试中实现了 8.0% 的词错误率（WER）。该拥有 1.832 亿参数的非自回归条件流匹配 Diffusion Transformer 在 AudioVAE2 的冻结连续潜在空间中运行，无需音素化器或离散语音分词器即可实现高质量的 48 kHz 重建。
lab
Tencent Hunyuan (HF)
·
1 天前
·
3 次浏览
腾讯发布开源AuK基础模型，用于语音生成与编辑
腾讯已将其用于语音生成和编辑的AuK 1.5B基础模型作为开源软件发布，包括代码和模型权重。
lab
Tencent Hunyuan (HF)
·
1 天前
·
3 次浏览
腾讯发布开源语音生成模型 AuK-Flash，蒸馏版参数量达 1.5B
腾讯已将用于语音生成和编辑的 AuK 基础模型开源，包括在 Hugging Face 和 ModelScope 上的代码和权重。此次发布包含 AuK-Flash，这是一种专为快速推理设计的蒸馏变体，仅需 4 步。