Databricks a publié un benchmark des agents de codage sur sa base de code de plusieurs millions de lignes, signalant que son agent interne pi-coding-agent est jusqu'à 2x moins cher que Claude Code ou Codex tout en atteignant des taux de réussite plus élevés. L'étude a également révélé que GLM 5.2 est au même niveau qu'Opus 4.8 high et dépasse GPT 5.5 high et xhigh.
- pi-coding-agent utilise une approche bash-for-everything avec un minimum d'outils, ce qui se traduit par des coûts inférieurs et de meilleurs taux de réussite dans l'ensemble par rapport à Claude Code et Codex.
- GLM 5.2 est classé au-dessus de GPT 5.5 high et xhigh, et est considéré comme équivalent à Opus 4.8 high pour la plupart des tâches de codage.
- L'auteur note que le prefix de Claude Code inclut des outils intégrés comme Playwright qui peuvent bénéficier aux tâches visuelles, tandis que GLM manque de support natif pour l'entrée d'image.
Le benchmark fournit une évaluation indépendante de Databricks, un laboratoire avec une expérience significative en entraînement de LLM, offrant des perspectives sur les compromis coût-performance des différents agents de codage.