NVIDIA ने अपनी GB300 NVL72 हार्डवेयर प्लेटफॉर्म पर कॉन्फ़िगर करने योग्य तर्क क्षमताओं के साथ Qwen 3.8 2.4T पैरामीटर मॉडल को सर्व करते हुए प्रदर्शन किया।
- सिस्टम अतिरिक्त मॉडल ट्यूनिंग के बिना FP8 सटीकता का उपयोग करके प्रति GPU सेकंड में 4,000 से अधिक टोकन की थ्रूपुट प्राप्त करता है।
- प्रत्येक उपयोगकर्ता को 72-GPU कॉन्फ़िगरेशन में लगभग प्रति सेकंड 350 टोकन मिलते हैं।
- NVFP4 सटीकता जैसे अनुकूलनों के माध्यम से और प्रदर्शन लाभ की उम्मीद है।
यह डिप्लॉयमेंट GB300 NVL72 की भारी मॉडल को अंतः उपयोगकर्ताओं के लिए उच्च थ्रूपुट और कम लेटेंसी के साथ संभालने की क्षमता को उजागर करता है।