أطلقت إنفيديا (NVIDIA) نموذج Nemotron-Labs-Audex-30B-A3B (Audex)، وهو نموذج لغوي كبير موحد للصوت والنص مبني على العمود الفقري Nemotron-Cascade-2-30B-A3B. يستخدم النموذج فك تشفير Transformer واحدًا لمعالجة رموز الصوت والنص بشكل موحد، مما يتيح دمجًا متعدد الوسائط قويًا دون التضبيب بقدرات الاستدلال أو الوكيل الخاصة بسلفها المعتمد على النص فقط.
- تم تدريب Audex على 157.4 مليار رمز صوتي و320.5 مليار رمز نصي باستخدام التدريب الخاضع للإشراف متعدد المراحل.
- يعالج الهيكل رموز النص ورموز إخراج الصوت المُكمَّاة بشكل موحد أثناء التوليد.
- يشمل التدريب استخدام Cascade RL للنص فقط وتقطير on-policy متعدد المجالات.
- يحقق النموذج أداءً متقدمًا في فهم الصوت، والتعرف على الكلام، والترجمة، وتحويل النص إلى كلام، وتوليد الصوت، وتحويل الكلام إلى كلام.
- تم إصدار نقاط التفتيش لتسهيل البحث المفتوح.
يهدف الإصدار إلى تقديم حل موحد لمهام ذكاء الصوت مع الحفاظ على الاستدلال عالي المستوى والاحتفاظ بالمعرفة الخاصين بالنموذج النصي الأساسي.