Benchmark · agentic
SWE-bench Verified
Testa se um agente de IA consegue resolver issues reais do GitHub de ponta a ponta. O conjunto "Verified" reúne 500 tarefas validadas por humanos, retiradas de repositórios Python de código aberto populares.
Saiba mais
- Exemplo
- Dado um relatório de bug e o repositório, o modelo deve produzir um patch de código — por exemplo, corrigir uma função de parsing de datas que está falhando para que a suíte de testes do projeto passe.
- Pontuação
- % de issues resolvidos — normalmente reportado como pass@1 (uma tentativa). Quanto maior, melhor.
- Verificação
- Totalmente automático: o patch gerado é aplicado e os testes unitários ocultos reais do projeto rodam em um sandbox. Uma tarefa só conta se todos os testes-alvo passarem e nada regredir.
- Por que importa
- O principal benchmark de agentes de código no mundo real e um número de destaque em todo lançamento de fronteira; o progresso aqui mede o quão perto os agentes estão da engenharia de software autônoma.
Exemplo resolvido
Tarefa
Repositório
django/django em um commit-base fixo. Relatório de bug: django.utils.text.slugify("___This-is-a-Test___", allow_unicode=True) retorna '___this-is-a-test___', mas os underscores e hifens no início e no fim deveriam ser removidos, de modo que o resultado seja 'this-is-a-test'. O modelo recebe apenas o texto da issue mais o repositório e deve produzir um patch em formato unified diff.Solução
--- a/django/utils/text.py
+++ b/django/utils/text.py
@@ def slugify(value, allow_unicode=False):
value = re.sub(r"[^\w\s-]", "", value.lower())
- return re.sub(r"[-\s]+", "-", value)
+ return re.sub(r"[-\s]+", "-", value).strip("-_")Explicação
slugify colapsa os separadores internos, mas nunca remove os
-/_ das extremidades, então acrescentar .strip("-_") ao re.sub final os remove; o patch é mínimo e preserva todo o restante do comportamento. O SWE-bench Verified aplica o patch ao repositório no commit-base e avalia rodando a suíte oculta — só passa se todos os testes FAIL_TO_PASS passarem a verde enquanto todos os testes PASS_TO_PASS continuam verdes.