Databricks menerbitkan benchmark agen pemrograman pada basis kode multi-juta barisnya, melaporkan bahwa agen internal pi-coding-agent-nya hingga 2x lebih murah daripada Claude Code atau Codex sambil mencapai tingkat keberhasilan yang lebih tinggi. Studi ini juga menemukan bahwa GLM 5.2 berkinerja setara dengan Opus 4.8 high dan melampaui GPT 5.5 high dan xhigh.
- pi-coding-agent menggunakan pendekatan bash-for-everything dengan alat minimum, menghasilkan biaya yang lebih rendah dan tingkat keberhasilan yang lebih baik secara keseluruhan dibandingkan Claude Code dan Codex.
- GLM 5.2 diperingkatkan di atas GPT 5.5 high dan xhigh, dan dianggap setara dengan Opus 4.8 high untuk sebagian besar tugas pemrograman.
- Penulis mencatat bahwa prefix Claude Code menyertakan alat bawaan seperti Playwright yang mungkin menguntungkan tugas visual, sementara GLM tidak memiliki dukungan input gambar native.
Benchmark ini memberikan evaluasi independen dari Databricks, sebuah lab dengan pengalaman pelatihan LLM yang signifikan, menawarkan wawasan tentang trade-off biaya-kinerja dari berbagai agen pemrograman.