korshunov.ai Semua yang penting di dunia ML
ID
Benchmark · agentic

DeepSWE

2 hasil 2 model

DataCurve's long-horizon real-repo coding-agent suite (headline metric = pass@1 resolve rate); Artificial Analysis swapped SWE-bench Pro out of its Coding Agent Index for it. Not a SWE-bench variant.

0 19.5 39 58.5 78 2026-07-27 GPT-5.6 Sol · 72.7 · 2026-07-27 Kimi K3 · 68.5 · 2026-07-27
GPT-5.6 Sol Kimi K3
Linimasa
Tanggal Model Skor Sumber
2026-07-27 GPT-5.6 Sol 72.7% Kimi K3 mengalahkan GPT-5.6 Sol di DeepSWE pass@4 dan biaya lebih murah 64%
2026-07-27 Kimi K3 68.5% Kimi K3 mengalahkan GPT-5.6 Sol di DeepSWE pass@4 dan biaya lebih murah 64%