Databricks опубликовала бенчмарк кодовых агентов на своей многомиллионной кодовой базе, сообщив, что её внутренний pi-coding-agent до 2 раз дешевле Claude Code или Codex при этом демонстрируя более высокие показатели успешности. Исследование также показало, что GLM 5.2 работает на уровне с Opus 4.8 high и превосходит GPT 5.5 high и xhigh.
- pi-coding-agent использует подход bash-for-everything с минимальным набором инструментов, что приводит к снижению затрат и улучшению показателей успешности по всем направлениям по сравнению с Claude Code и Codex.
- GLM 5.2 занимает позицию выше GPT 5.5 high и xhigh и считается сопоставимой с Opus 4.8 high для большинства задач кодирования.
- Автор отмечает, что префикс Claude Code включает встроенные инструменты, такие как Playwright, которые могут быть полезны для визуальных задач, в то время как GLM не имеет нативной поддержки ввода изображений.
Бенчмарк предоставляет независимую оценку от Databricks, лаборатории с значительным опытом обучения LLM, предлагая инсайты о компромиссах между стоимостью и производительностью различных кодовых агентов.