Databricksは数百万行のコードベースにおけるコーディングエージェントのベンチマークを公開し、内部のpi-coding-agentがClaude CodeやCodexと比較して最大2倍のコスト効率が高く、より高いパス率を達成したと報告しました。この研究では、GLM 5.2がOpus 4.8 highと同等のパフォーマンスを示し、GPT 5.5 highおよびxhighを上回ることも判明しました。

  • pi-coding-agentは最小限のツールでbash-for-everythingアプローチを採用しており、Claude CodeやCodexと比較してコストが低く、全体的に高いパス率を実現しています。
  • GLM 5.2はGPT 5.5 highおよびxhighよりも上位にランク付けされており、ほとんどのコーディングタスクにおいてOpus 4.8 highと同等と見なされています。
  • 著者は、Claude CodeのprefixにはPlaywrightなどの組み込みツールが含まれており視覚的なタスクに有利である一方、GLMはネイティブな画像入力サポートを欠いていると指摘しています。

このベンチマークは、LLMトレーニングにおいて豊富な経験を持つラボであるDatabricksによる独立した評価を提供し、異なるコーディングエージェントのコスト対パフォーマンスのトレードオフに関する洞察をもたらします。