एक Reddit उपयोगकर्ता भविष्य के ओपन-सोर्स "fable 5" मॉडल को चलाने की तैयारी करने के लिए चार Ascend GX10 GPUs खरीदने पर विचार कर रहा है, अन्य उपयोगकर्ताओं से प्रदर्शन बेंचमार्क का हवाला देते हुए जिन्होंने समान हार्डवेयर पर GLM5.2 का परीक्षण किया था।
- बेंचमार्क दिखाते हैं कि 128k संदर्भ लंबाई पर चार DGX Sparks या Ascend GX10s पर GLM5.2 प्रॉम्प्ट प्रसंस्करण के लिए प्रति सेकंड 400-500 टोकन और आउटपुट के लिए लगभग 15 टोकन प्रति सेकंद प्राप्त करता है।
- सेटअप लगभग 1000W बिजली खींचता है, जिसे उपयोगकर्ता प्रबंधनीय बताते हैं।
- वर्तमान इनफरेंस गति को देखते हुए उपयोगिता में सुधार के लिए क्वांटीकरण का सुझाव दिया गया है।