Databricks publicó un benchmark de agentes de código en su base de código de varios millones de líneas, informando que su agente interno pi-coding-agent es hasta 2 veces más barato que Claude Code o Codex mientras logra tasas de aprobación más altas. El estudio también encontró que GLM 5.2 se desempeña al mismo nivel que Opus 4.8 high y supera a GPT 5.5 high y xhigh.
- pi-coding-agent utiliza un enfoque bash-for-everything con herramientas mínimas, lo que resulta en costos más bajos y mejores tasas de aprobación en general en comparación con Claude Code y Codex.
- GLM 5.2 está clasificada por encima de GPT 5.5 high y xhigh, y se considera al mismo nivel que Opus 4.8 high para la mayoría de las tareas de codificación.
- El autor señala que el prefijo de Claude Code incluye herramientas integradas como Playwright que pueden beneficiar tareas visuales, mientras que GLM carece de soporte nativo para entrada de imágenes.
El benchmark proporciona una evaluación independiente desde Databricks, un laboratorio con experiencia significativa en entrenamiento de LLM, ofreciendo perspectivas sobre los compromisos entre costo y rendimiento de diferentes agentes de código.