벤치마크 · agentic
DeepSWE
DataCurve's long-horizon real-repo coding-agent suite (headline metric = pass@1 resolve rate); Artificial Analysis swapped SWE-bench Pro out of its Coding Agent Index for it. Not a SWE-bench variant.
| 날짜 | 모델 | 점수 | 출처 |
|---|---|---|---|
| 2026-07-27 | GPT-5.6 Sol | 72.7% | Kimi K3가 DeepSWE pass@4에서 GPT-5.6 Sol을 제치고 비용을 64% 절감 |
| 2026-07-27 | Kimi K3 | 68.5% | Kimi K3가 DeepSWE pass@4에서 GPT-5.6 Sol을 제치고 비용을 64% 절감 |