NVIDIA telah merilis Nemotron-Labs-Audex-30B-A3B (Audex), sebuah model bahasa besar terpadu audio-teks yang dibangun di atas backbone Nemotron-Cascade-2-30B-A3B. Model ini memanfaatkan satu decoder Transformer untuk memproses token audio dan teks secara seragam, memungkinkan fusi multimodal yang kuat tanpa mengorbankan kemampuan penalaran atau agentic dari pendahulunya yang hanya berbasis teks.
- Audex dilatih pada 157,4B token audio dan 320,5B token teks menggunakan pelatihan supervised multi-tahap.
- Arsitektur memperlakukan token teks dan token output audio terkuantisasi secara seragam selama generasi.
- Pelatihan mencakup Cascade RL hanya-teks dan distilasi on-policy multi-domain.
- Model ini mencapai kinerja state-of-the-art dalam pemahaman audio, pengenalan ucapan, terjemahan, text-to-speech, generasi audio, dan speech-to-speech generation.
- Checkpoint dirilis untuk memfasilitasi penelitian terbuka.
Rilis ini bertujuan untuk menyediakan solusi terpadu untuk tugas kecerdasan audio sambil mempertahankan penalaran tingkat tinggi dan retensi pengetahuan dari model teks yang mendasarinya.