Nvidia ha lanzado Nemotron-Labs-Audex-30B-A3B, un gran modelo de lenguaje unificado de audio y texto construido sobre la base MoE solo de texto Nemotron-Cascade-2-30B-A3B. El modelo extiende la arquitectura original con un codificador de audio para las entradas y tokens de audio discretos para las salidas, habilitando capacidades en reconocimiento de voz, traducción, texto a voz y generación de audio.
- Conserva las capacidades de razonamiento, alineación, conocimiento, contexto largo y agéntico de su predecesor solo de texto con una regresión marginal o nula.
- El modelo admite una longitud de contexto de 1M tokens y opera en modos de "pensamiento" e "instrucción" (no pensamiento).
- También está disponible una variante más pequeña Nemotron-Labs-Audex-2B.
Este lanzamiento proporciona una solución unificada para tareas multimodales de audio y texto, preservando las características de alto rendimiento del modelo Cascade subyacente.