Databricks ने अपने कई मिलियन पंक्तियों वाले कोडबेस पर कोडिंग एजेंट्स का एक बेंचमार्क प्रकाशित किया, जिसमें रिपोर्ट की गई कि उनका आंतरिक pi-coding-agent Claude Code या Codex की तुलना में 2x तक सस्ता है जबकि उच्च पास दरें हासिल करता है। अध्ययन में यह भी पाया गया कि GLM 5.2 Opus 4.8 high के बराबर प्रदर्शन करती है और GPT 5.5 high और xhigh को पार कर जाती है।
- pi-coding-agent न्यूनतम टूल्स के साथ एक bash-for-everything दृष्टिकोण का उपयोग करता है, जिसके परिणामस्वरूप Claude Code और Codex की तुलना में कम लागत और सभी दिशाओं में बेहतर पास दरें आती हैं।
- GLM 5.2 को GPT 5.5 high और xhigh से ऊपर रैंक किया गया है, और अधिकांश कोडिंग कार्यों के लिए Opus 4.8 high के बराबर माना जाता है।
- लेखक ने नोट किया कि Claude Code का प्रीफिक्स Playwright जैसे इनबिल्ट टूल्स को शामिल करता है जो दृश्य कार्यों के लिए लाभदायक हो सकते हैं, जबकि GLM में मूल छवि इनपुट समर्थन की कमी है।
यह बेंचमार्क Databricks से एक स्वतंत्र मूल्यांकन प्रदान करता है, जो LLM प्रशिक्षण में महत्वपूर्ण अनुभव वाले एक लैब है, जो विभिन्न कोडिंग एजेंट्स के लागत-प्रदर्शन समझौतों के बारे में अंतर्दृष्टि प्रदान करता है।