NVIDIA发布了基于Nemotron-Cascade-2-30B-A3B骨干网络的统一音频-文本大语言模型Nemotron-Labs-Audex-30B-A3B（Audex）。该模型利用单个Transformer解码器统一处理音频和文本token，在不妨碍其纯文本前身推理或智能体能力的同时，实现了强大的多模态融合。

  • Audex使用多阶段监督训练在157.4B音频token和320.5B文本token上进行训练。
  • 该架构在生成过程中将文本token和量化音频输出token视为统一处理。
  • 训练包括纯文本Cascade RL和多域在线策略蒸馏。
  • 该模型在音频理解、语音识别、翻译、文本转语音、音频生成和语音到语音生成方面达到了最先进性能。
  • 检查点已发布以促进开放研究。

此次发布旨在提供音频智能任务的统一解决方案，同时保持底层文本模型的高级推理和知识保留能力。