A Databricks publicou um benchmark de agentes de código em sua base de código com milhões de linhas, relatando que seu agente interno pi-coding-agent é até 2x mais barato que Claude Code ou Codex enquanto alcança taxas de aprovação mais altas. O estudo também descobriu que GLM 5.2 tem desempenho equivalente ao Opus 4.8 high e supera GPT 5.5 high e xhigh.
- pi-coding-agent usa uma abordagem bash-for-everything com ferramentas mínimas, resultando em custos menores e melhores taxas de aprovação geral em comparação com Claude Code e Codex.
- GLM 5.2 está classificada acima de GPT 5.5 high e xhigh, e é considerada equivalente ao Opus 4.8 high para a maioria das tarefas de codificação.
- O autor observa que o prefixo do Claude Code inclui ferramentas integradas como Playwright que podem beneficiar tarefas visuais, enquanto GLM carece de suporte nativo para entrada de imagens.
O benchmark fornece uma avaliação independente da Databricks, um laboratório com experiência significativa em treinamento de LLM, oferecendo insights sobre as compensações entre custo e desempenho de diferentes agentes de código.