korshunov.ai L'essentiel du monde ML
FR
Benchmark · agentic

DeepSWE

2 résultats 2 modèles

DataCurve's long-horizon real-repo coding-agent suite (headline metric = pass@1 resolve rate); Artificial Analysis swapped SWE-bench Pro out of its Coding Agent Index for it. Not a SWE-bench variant.

0 19.5 39 58.5 78 2026-07-27 GPT-5.6 Sol · 72.7 · 2026-07-27 Kimi K3 · 68.5 · 2026-07-27
GPT-5.6 Sol Kimi K3
Chronologie
Date Modèle Score Source
2026-07-27 GPT-5.6 Sol 72.7% Kimi K3 bat GPT-5.6 Sol sur DeepSWE pass@4 et coûte 64 % de moins
2026-07-27 Kimi K3 68.5% Kimi K3 bat GPT-5.6 Sol sur DeepSWE pass@4 et coûte 64 % de moins