Nvidia a publié Nemotron-Labs-Audex-30B-A3B, un grand modèle de langage unifié audio-texte construit sur la colonne vertébrale MoE uniquement textuelle Nemotron-Cascade-2-30B-A3B. Le modèle étend l'architecture originale avec un encodeur audio pour les entrées et des tokens audio discrets pour les sorties, permettant des capacités en reconnaissance vocale, traduction, synthèse vocale (text-to-speech) et génération audio.
- Il conserve les capacités de raisonnement, d'alignement, de connaissances, de contexte long et agentic de son prédécesseur uniquement textuel avec une régression marginale ou nulle.
- Le modèle prend en charge une longueur de contexte de 1M tokens et fonctionne à la fois en mode "réflexion" et en mode "instruction" (non-réflexion).
- Une variante plus petite Nemotron-Labs-Audex-2B est également disponible.
Cette version fournit une solution unifiée pour les tâches multimodales audio-texte tout en préservant les caractéristiques de performance élevées du modèle Cascade sous-jacent.