एक उपयोगकर्ता चार GB10 GPUs को 100G स्विच के माध्यम से जोड़कर एक कस्टम हार्डवेयर सेटअप पर GLM 5.2 मॉडल चलाने का प्रदर्शन दिखाता है, जिसमें लगभग 330k कॉन्टेक्स्ट लंबाई और जनरेशन में प्रति सेकंड ~25 टोकन प्राप्त होते हैं।

  • कॉन्फ़िगरेशन में ~360k KV पूल के लिए TP4+DCP2 का उपयोग किया गया है, जिसमें लंबे प्रॉम्प्ट्स पर प्रीफिल स्पीड 900-1000 t/s तक पहुँचती है।
  • DCP4 का उपयोग करने से कॉन्टेक्स्ट बढ़कर 660k हो जाता है लेकिन प्रीफिल स्पीड घटकर ~400 t/s रह जाती है, जबकि DCP को कम करने पर प्रीफिल ~750 t/s तक बढ़ जाता है।
  • डिकोडिंग प्रदर्शन सामग्री के प्रकार के अनुसार भिन्न होता है: विचारशील कार्यों में लगभग 20 tok/s मिलते हैं, कोडिंग में 25-35 tok/s मिलते हैं, और Pi में सामान्य टर्न में ~24 tok/s प्राप्त होते हैं।
  • मॉडल को 5-10% तक प्रून करने से 1M कॉन्टेक्स्ट या उच्च कंकरेंसी की अनुमति हो सकती है, हालाँकि एक 10% डेटा-मुक्त प्रून में कोडिंग क्षमता बनाए रखने के बावजूद कुछ निर्देश पालन की हानि पाई गई।
  • कुल हार्डवेयर लागत लगभग $16k थी, जिसमें दो Acer GN100s, दो Asus GX10s और एक Mikrotik CRS504 स्विच शामिल हैं।

लेखक बताते हैं कि हालाँकि यह सेटअप सामान्य उपयोग के लिए वित्तीय रूप से अनुकूल नहीं है, लेकिन यह 512GB Mac Studio पर GLM को स्थानीय रूप से चलाने का एक वैकल्पिक विकल्प है, जिसमें डिकोड की गति केवल 12 tok/s पाई गई है।