NVIDIA a publié Nemotron-Labs-Audex-30B-A3B (Audex), un grand modèle de langage unifié audio-texte construit sur la base Nemotron-Cascade-2-30B-A3B. Le modèle utilise un seul décodeur Transformer pour traiter uniformément les tokens audio et texte, permettant une fusion multimodale puissante sans sacrifier les capacités de raisonnement ou d'agent de son prédécesseur purement textuel.
- Audex est entraîné sur 157,4B de tokens audio et 320,5B de tokens texte à l'aide d'un apprentissage supervisé multi-étapes.
- L'architecture traite uniformément les tokens texte et les tokens de sortie audio quantifiés lors de la génération.
- L'entraînement inclut le Cascade RL uniquement sur texte et la distillation on-policy multi-domaines.
- Le modèle atteint des performances de pointe en compréhension audio, reconnaissance vocale, traduction, synthèse vocale (text-to-speech), génération audio et génération speech-to-speech.
- Les points de contrôle sont publiés pour faciliter la recherche ouverte.
Le lancement vise à fournir une solution unifiée pour les tâches d'intelligence audio tout en maintenant le raisonnement de haut niveau et la rétention des connaissances du modèle texte sous-jacent.