Бенчмарк · agentic

DeepSWE

2 результатов 2 моделей

DataCurve's long-horizon real-repo coding-agent suite (headline metric = pass@1 resolve rate); Artificial Analysis swapped SWE-bench Pro out of its Coding Agent Index for it. Not a SWE-bench variant.

GPT-5.6 Sol Kimi K3

Хронология

Дата	Модель	Результат	Источник
2026-07-27	GPT-5.6 Sol	72.7%	Kimi K3 превосходит GPT-5.6 Sol на DeepSWE pass@4 и обходится на 64% дешевле
2026-07-27	Kimi K3	68.5%	Kimi K3 превосходит GPT-5.6 Sol на DeepSWE pass@4 и обходится на 64% дешевле