Nvidia发布了Nemotron-Labs-Audex-30B-A3B，这是一个基于Nemotron-Cascade-2-30B-A3B纯文本MoE主干构建的统一音频-文本大语言模型。该模型在原始架构基础上增加了用于输入的音频编码器和用于输出的离散音频令牌，从而具备语音识别、翻译、文本转语音和音频生成的能力。
- 它在推理、对齐、知识、长上下文和智能体方面保留了其纯文本前代模型的能力，且性能几乎没有或没有退化。
- 该模型支持1M令牌的上下文长度，并可在"思考"和"指令"（非思考）模式下运行。
- 还提供了一个更小的Nemotron-Labs-Audex-2B变体。
此次发布为多模态音频-文本任务提供了统一解决方案，同时保留了底层Cascade模型的强大性能特征。