OpenAI a mené un audit détaillé du benchmark de codage SWE-Bench Pro et a estimé qu'environ 30 % de ses tâches sont cassées en raison de défauts de conception. Cette enquête a été déclenchée par des préoccupations selon lesquelles des erreurs d'évaluation pourraient fausser les capacités des modèles et les arguments de sécurité, conduisant OpenAI à retirer sa recommandation précédente d'adopter ce benchmark.
L'étude a identifié quatre catégories principales de problèmes : des tests trop stricts imposant des détails d'implémentation spécifiques, des prompts sous-spécifiés omettant des exigences, des tests à faible couverture permettant des corrections incomplètes et des prompts trompeurs contradictoires par rapport aux attentes des tests. Pour parvenir à ces conclusions, l'équipe a utilisé un pipeline automatisé pour signaler 286 tâches potentiellement cassées, qui ont ensuite été examinées par des agents enquêteurs et cinq ingénieurs logiciels expérimentés par tâche.
OpenAI conseille aux développeurs de modèles d'examiner attentivement les résultats de ce benchmark et espère que la communauté de l'évaluation développera de nouveaux benchmarks spécifiquement curatés par des développeurs logiciels expérimentés pour garantir une meilleure supervision humaine et fiabilité.