NVIDIA ने Nemotron-Cascade-2-30B-A3B बैकबोन पर निर्मित ऑडियो और टेक्स्ट के लिए एक एकीकृत बड़ा भाषा मॉडल Nemotron-Labs-Audex-30B-A3B (Audex) जारी किया है। मॉडल ऑडियो और टेक्स्ट टोकन को समान रूप से प्रसंस्कृत करने के लिए एकल Transformer डिकोडर का उपयोग करता है, जिससे इसके केवल-टेक्स्ट पूर्ववर्ती की तर्क या एजेंट क्षमताओं को त्यागे बिना मजबूत बहुआयामी फ्यूजन संभव होता है।
- Audex का प्रशिक्षण मल्टी-स्टेज सुपरवाइज्ड ट्रेनिंग का उपयोग करके 157.4B ऑडियो टोकन और 320.5B टेक्स्ट टोकन पर किया गया है।
- आर्किटेक्चर जनरेशन के दौरान टेक्स्ट टोकन और क्वांटाइज्ड ऑडियो आउटपुट टोकन को समान रूप से मानता है।
- प्रशिक्षण में केवल-टेक्स्ट कैस्केड RL और मल्टी-डोमेन ऑन-पॉलिसी डिस्टिलेशन शामिल हैं।
- मॉडल ऑडियो समझ, स्पीच रिकग्निशन, अनुवाद, टेक्स्ट-टू-स्पीच, ऑडियो जनरेशन और स्पीच-टू-स्पीच जनरेशन में राज्य-द-आर्ट प्रदर्शन प्राप्त करता है।
- खुले शोध को सुविधाजनक बनाने के लिए चेकपॉइंट जारी किए गए हैं।
यह रिलीज अंतर्निहित टेक्स्ट मॉडल उच्च स्तरीय तर्क और ज्ञान धारण बनाए रखते हुए ऑडियो इंटेलिजेंस कार्यों के लिए एक एकीकृत समाधान प्रदान करने का लक्ष्य रखती है।