Databricks 在其数百万行的代码库上发布了代码代理的基准测试，报告称其内部 pi-coding-agent 比 Claude Code 或 Codex 便宜多达 2 倍，同时实现了更高的通过率。该研究还发现 GLM 5.2 的表现与 Opus 4.8 high 相当，并超过了 GPT 5.5 high 和 xhigh。

  • pi-coding-agent 使用 bash-for-everything 方法，工具最少，与 Claude Code 和 Codex 相比，成本更低，整体通过率更高。
  • GLM 5.2 排名高于 GPT 5.5 high 和 xhigh，对于大多数编码任务被认为与 Opus 4.8 high 相当。
  • 作者指出，Claude Code 的前缀包含 Playwright 等内置工具，可能有利于视觉任务，而 GLM 缺乏原生的图像输入支持。

该基准测试提供了来自 Databricks（一家拥有丰富 LLM 训练经验的实验室）的独立评估，为不同代码代理的成本与性能权衡提供了见解。