एक उपयोगकर्ता ने GLM-5.2 (753B MoE) मॉडल को NVFP4 4-बिट KV कैश के साथ Int4-Int8Mix पर क्वांटाइज़ किया और चार DGX Spark (GB10) सिस्टम पर इसे चलाया, जिससे Terminal-Bench 2.1 में 70.8% स्कोर प्राप्त हुआ।
- सेटअप में 4× DGX Spark नोड्स के बीच TP=4 का उपयोग किया गया, जिसमें ~273 GB/s बैंडविड्थ थी और 4-बिट KV कैश की मदद से 100K कॉन्टेक्स्ट विंडो सक्षम थी।
- इनफरेंस में MTP स्पेकुलेटिव डिकोड और FULL CUDA ग्राफ्स का उपयोग किया गया, जिससे लगभग 27.5 टोकन प्रति सेकंड की दर मिली।
- 63/89 कार्यों के परिणाम को उसी Terminus-2 एजेंट स्केफोल्ड पर आधिकारिक पूर्ण-प्रिसिजन स्कोर 81.0% के साथ तुलना किया गया है।
- ~10 अंकों का अंतर क्वांटाइज़ेशन के प्रभावों, आधिकारिक 256K की तुलना में कम 100K कॉन्टेक्स्ट कैप, और छोटे टोकन बजट से शामिल है।
यह रन यह दिखाता है कि उपभोक्ता-ग्रेड हार्डवेयर पर एक 4-बिट ओपन-वेट मॉडल जटिल एजेंटिक बेंचमार्क्स पर आधिकारिक पूर्ण-प्रिसिजन प्रदर्शन का लगभग 87% बनाए रख सकता है।