NVIDIA ने Nemotron-Labs-Diffusion पेश किया, एक ट्राई-मोड लैंग्वेज मॉडल जो ऑटोरिग्रेसिव (AR), डिफ्यूजन और सेल्फ-स्पेकुलेशन डिकोडिंग को एक ही आर्किटेक्चर में एकीकृत करता है। जॉइंट AR-डिफ्यूजन ऑब्जेक्टिव के साथ प्रशिक्षित, यह मॉडल विभिन्न डिप्लॉयमेंट सेटिंग्स और कन्करेंसी स्तरों पर उच्च थ्रूपुट बनाए रखने के लिए मोड बदल सकता है।
- अध्ययन दिखाता है कि AR और डिफ्यूजन ऑब्जेक्टिव पूरक हैं, जहाँ डिफ्यूजन लुकहेड प्लानिंग में सुधार करता है और AR बाएं से दाएं भाषाई प्रायरर्स प्रदान करता है।
- सेल्फ-स्पेकुलेशन मोड में, डिफ्यूजन ड्राफ्ट तैयार करता है जबकि AR सत्यापित करता है, जो स्वीकृति दर और वास्तविक उपकरण दक्षता में मल्टी-टोकन प्रिडिक्शन विधियों से बेहतर प्रदर्शन करता है।
- एक स्पीड-ऑफ-लाइट विश्लेषण डिफ्यूजन की क्षमता को दर्शाता है, जो इष्टतम सैम्पलर के तहत सेल्फ-स्पेकुलेशन की तुलना में प्रति फॉरवर्ड पास 76.5% अधिक टोकन प्रदान करने की संभावना दिखाता है।
- Nemotron-Labs-Diffusion परिवार 3B, 8B और 14B पैरामीटर तक स्केल होता है, जिसमें बेस, इन्स्ट्रक्ट और विजन-लैंग्वेज मॉडल शामिल हैं जो सटीकता और गति में स्टेट-ऑफ़-द-आर्ट ओपन-सोर्स LMs को हराते हैं।
- Nemotron-Labs-Diffusion-8B Qwen3-8B की तुलना में प्रति फॉरवर्ड पास 6x अधिक टोकन डिकोड करता है, जिसकी सटीकता समान है, और GB200 GPU पर SGLang के साथ SPEED-Bench पर थ्रूपुट को 4x बढ़ाता है।
मॉडल सटीकता और गति दोनों में स्टेट-ऑफ़-द-आर्ट ओपन-सोर्स AR और डिफ्यूजन LMs से लगातार बेहतर प्रदर्शन करता है, जो डिप्लॉयमेंट के लिए महत्वपूर्ण दक्षता लाभ प्रदान करता है।