A OpenAI realizou uma auditoria detalhada do benchmark de programação SWE-Bench Pro e estimou que aproximadamente 30% de suas tarefas estão quebradas devido a falhas de design. A investigação foi motivada por preocupações de que erros de avaliação poderiam distorcer as capacidades dos modelos e os casos de segurança, levando a OpenAI a retirar sua recomendação anterior de adotar este benchmark.
O estudo identificou quatro categorias principais de problemas: testes excessivamente rigorosos que impõem detalhes específicos de implementação, prompts insuficientemente especificados que omitem requisitos, testes com baixa cobertura que permitem correções incompletas e prompts enganosos que contradizem as expectativas dos testes. Para chegar a essas descobertas, a equipe utilizou um pipeline automatizado para sinalizar 286 tarefas potencialmente quebradas, que foram então revisadas por agentes investigadores e cinco engenheiros de software experientes por tarefa.
A OpenAI aconselha os desenvolvedores de modelos a examinar cuidadosamente os resultados deste benchmark e espera que a comunidade de avaliação desenvolva novos benchmarks curados especificamente por desenvolvedores de software experientes para garantir melhor supervisão humana e confiabilidade.