बेंचमार्क को नए मॉडल रिलीज़ के pace पर रखने और बेंचमार्क संतृप्ति से लड़ने के लिए Terminal Bench 4.0 जारी किया गया है।
- अपडेट में प्रदर्शन डेटा शामिल है जो दर्शाता है कि त्रुटि की सीमा को ध्यान में रखते हुए GLM-5.3, Fable 5 के समान स्तर पर है।
- घोषणा में उभरते मॉडल्स के खिलाफ प्रासंगिकता बनाए रखने के लिए TerminalBench पर तेज़ पुनरावृत्ति पर जोर दिया गया है।
- सामुदायिक चर्चा में बड़े बेंचमार्क के उच्च कंप्यूटेशनल खर्च को उजागर किया गया है, यह नोट करते हुए कि उन्हें एक रन में 5-10B टोकन की आवश्यकता होती है।