Databricks는 수백만 줄의 코드베이스에서 코딩 에이전트에 대한 벤치마크를 공개했으며, 내부 pi-coding-agent가 Claude Code나 Codex보다 최대 2배 저렴하면서도 더 높은 통과율을 달성했다고 보고했습니다. 이 연구는 또한 GLM 5.2가 Opus 4.8 high와 동급의 성능을 보이며 GPT 5.5 high 및 xhigh를 능가한다는 것을 발견했습니다.
- pi-coding-agent는 최소한의 도구로 bash-for-everything 접근 방식을 사용하며, Claude Code 및 Codex와 비교하여 전반적으로 더 낮은 비용과 더 높은 통과율을 제공합니다.
- GLM 5.2는 GPT 5.5 high 및 xhigh보다 상위 랭크에 위치하며, 대부분의 코딩 작업에서 Opus 4.8 high와 동급으로 간주됩니다.
- 저자는 Claude Code의 prefix에는 Playwright와 같은 내장 도구가 포함되어 있어 시각적 작업에 유리할 수 있는 반면, GLM은 네이티브 이미지 입력 지원을 결여하고 있다고 지적합니다.
이 벤치마크는 상당한 LLM 훈련 경험을 가진 연구소인 Databricks의 독립적인 평가를 제공하며, 다양한 코딩 에이전트의 비용-성능 트레이드오프에 대한 통찰력을 제공합니다.