OpenAI对SWE-Bench Pro编程基准进行了详细审计，估计其约30%的任务因设计缺陷而失效。此次调查源于对评估错误可能歪曲模型能力和安全案例的担忧，促使OpenAI撤回了此前采用该基准的建议。

该研究确定了四类主要问题：过于严格的测试强制执行特定实现细节、未充分指定的提示遗漏要求、覆盖率低的测试允许不完整的修复、以及误导性的提示与测试预期相矛盾。为得出这些发现，团队使用自动化管道标记了286个可能失效的任务，随后由调查员代理和每位任务的五名资深软件工程师进行审查。

OpenAI建议模型开发人员仔细检查此基准的结果，并希望评估社区能开发出由经验丰富的软件开发者专门策划的新基准，以确保更好的人工监督和可靠性。