लेख में आठ GB10 एक्सेलेरेटर्स पर चल रहे GLM-5.2-Int4-Int8 मॉडल के लिए बेंचमार्क परिणामों की रिपोर्ट है। कॉन्फ़िगरेशन प्रीफिल के दौरान लगभग 1,200 टोकन प्रति सेकंड और डिकोडिंग के दौरान औसतन 33–54 टोकन प्रति सेकंद प्राप्त करता है।
- प्रीफिल थ्रूपुट ~1,200 t/s तक पहुँचता है।
- औसत डिकोड थ्रूपुट 33 से 54 t/s के बीच होता है।
- सेटअप GLM-5.2 और छवि/ऑडियो इनपुट हैंडल करने वाले समानांतर Mimo 2.5 मॉडल दोनों के लिए टेंसर पैरेलेलिज्म (tp) 8 का समर्थन करता है।
यह प्रदर्शन प्रोफ़ाइल सिस्टम को एक ही हार्डवेयर पर GLM-5.2 को Mimo 2.5 जैसे अन्य मॉडलों के साथ चलाने की अनुमति देती है।