NVIDIA ha lanzado Nemotron-Labs-Audex-30B-A3B (Audex), un modelo de lenguaje grande unificado de audio y texto construido sobre la base Nemotron-Cascade-2-30B-A3B. El modelo utiliza un único decodificador Transformer para procesar tokens de audio y texto de manera uniforme, permitiendo una fusión multimodal sólida sin sacrificar las capacidades de razonamiento o agénticas de su predecesor solo de texto.
- Audex se entrena con 157.4B tokens de audio y 320.5B tokens de texto utilizando entrenamiento supervisado por etapas.
- La arquitectura trata los tokens de texto y los tokens de salida de audio cuantizados de manera uniforme durante la generación.
- El entrenamiento incluye RL en cascada solo para texto y destilación on-policy multi-dominio.
- El modelo alcanza un rendimiento de vanguardia en comprensión de audio, reconocimiento de voz, traducción, texto a voz, generación de audio y generación de voz a voz.
- Los checkpoints se publican para facilitar la investigación abierta.
El lanzamiento tiene como objetivo proporcionar una solución unificada para tareas de inteligencia de audio mientras mantiene el razonamiento de alto nivel y la retención de conocimiento del modelo de texto subyacente.