OpenAI realizó una auditoría detallada del benchmark de programación SWE-Bench Pro y estimó que aproximadamente el 30% de sus tareas están rotas debido a defectos de diseño. La investigación fue impulsada por preocupaciones de que los errores de evaluación podrían distorsionar las capacidades de los modelos y los casos de seguridad, lo que llevó a OpenAI a retirar su recomendación previa de adoptar este benchmark.
El estudio identificó cuatro categorías principales de problemas: pruebas demasiado estrictas que imponen detalles específicos de implementación, prompts insuficientemente especificados que omiten requisitos, pruebas con baja cobertura que permiten correcciones incompletas y prompts engañosos que contradicen las expectativas de las pruebas. Para llegar a estos hallazgos, el equipo utilizó una canalización automatizada para marcar 286 tareas potencialmente rotas, que luego fueron revisadas por agentes investigadores y cinco ingenieros de software experimentados por tarea.
OpenAI aconseja a los desarrolladores de modelos examinar cuidadosamente los resultados de este benchmark y espera que la comunidad de evaluación desarrolle nuevos benchmarks curados específicamente por desarrolladores de software experimentados para garantizar una mejor supervisión humana y confiabilidad.