8x B200 नोड्स पर GLM-5.2 तैनात करने के इंजीनियरिंग विश्लेषण से पता चलता है कि NVFP4 क्वांटाइजेशन और दो TP=4 रिप्लिका को इष्टतम कॉन्फ़िगरेशन माना जाता है, जो एकल TP=8 सेटअप के साथ मानक FP8 की तुलना में लगभग दोगुना नोड थ्रूपुट प्रदान करता है।

  • GLM-5.2 एक ~750B MoE मॉडल है जिसमें ~40B सक्रिय पैरामीटर हैं; NVFP4 वजन को 459 GB की आवश्यकता होती है, जो KV कैश के लिए B200 की 720 GB HBM आवंटन के भीतर फिट हो जाता है।
  • SGLang v0.5.12 का उपयोग करते हुए बेंचमार्क दिखाते हैं कि NVFP4 TP=4, कंकरेंसी 128 पर 4,116 tok/s/GPU प्राप्त करता है, जबकि FP8 TP=8 कंकरेंसी 256 पर 1,947 tok/s/GPU प्रदान करता है।
  • प्रति नोड दो स्वतंत्र TP=4 रिप्लिका लगभग ~33k tok/s एग्रीगेट थ्रूपुट देते हैं, जबकि एकल FP8 TP=8 इंजन के लिए यह ~15.6k होता है।
  • NVFP4 B200 पर लागत को लगभग $0.13/M टोकन तक कम कर देता है, जो H200 FP8 संदर्भों की तुलना में ~3.5x का सुधार है।
  • उपयोगकर्ताओं को NVFP4 समर्थन के लिए SGLang v0.5.13.post1+ का उपयोग करना चाहिए और flashmla_kv पथ में सटीकता की वापसी के कारण SGLang <=v0.5.9 से बचना चाहिए।

यह कॉन्फ़िगरेशन MoE डिकोडिंग में निहित बैंडविड्थ बॉटलनेक को संबोधित करके हार्डवेयर दक्षता को अधिकतम करता है, हालांकि वास्तविक दुनिया के शेड्यूलर संघर्ष सैद्धांतिक 2x लाभ को कम कर सकता है।