NVIDIA ने अपने नए d1 निर्णय मॉडल परिवार के हिस्से के रूप में दो ओपन-वेट मॉडल, d1-3B और d1-omni-600M जारी किए हैं। जनरेटिव मॉडल जो टोकन उत्पन्न करते हैं, इसके विपरीत, ये मॉडल एकल फॉरवर्ड पास में उत्तर उत्पन्न करते हैं, जिससे डेटा सेंटर से एज डिवाइस तक NVIDIA के पूरे स्टैक पर अत्यंत कम लेटेंसी वाला इनफरेंस संभव होता है।
- d1-3B ने Decision Index v0.2.1 पब्लिक स्प्लिट पर 48.57 स्कोर हासिल किया, जो 10B से कम के हर मॉडल को पीछे छोड़ता है और आकार में बहुत कम होने पर भी Decider 35B-A3B के बराबर प्रदर्शन करता है।
- d1-omni-600M एक एक्सपेरिमेंटल चेकपॉइंट है जो टेक्स्ट, इमेज और ऑडियो इनपुट को संभालता है, जिसने उसी इंडेक्स पर 15.95 स्कोर हासिल किया।
- d1-3B ने NVIDIA GeForce RTX 4090 पर 8 ms, Jetson AGX Thor पर 16 ms, और Jetson AGX Orin पर 26 ms के इनफरेंस लेटेंसी हासिल किए हैं।
- दोनों मॉडल llama.cpp के साथ डे-वन कम्पैटिबिलिटी सपोर्ट करते हैं और Apple M5 Pro, AMD MI325X, और विभिन्न NVIDIA Jetson डिवाइस पर चलते हैं।
ये ओपन-वेट मॉडल उपयोगकर्ताओं को बिना किसी प्रतिबंध के मल्टीमोडल इनपुट के लिए तेज़, संरचित निर्णय लेने की क्षमताओं को डाउनलोड, फाइन-ट्यून और डिप्लॉय करने की अनुमति देते हैं।