OpenAI는 SWE-Bench Pro 코딩 벤치마크에 대한 상세한 감사를 수행했으며, 그 작업의 약 30%가 설계 결함으로 인해 손상되어 있다고 추정했습니다. 이 조사는 평가 오류가 모델 능력과 안전 사례를 오해할 수 있다는 우려 때문에 촉발되었으며, 이로 인해 OpenAI는 이 벤치마크 채택에 대한 이전 권고를 철회했습니다.
이 연구는 네 가지 주요 문제 카테고리를 식별했습니다: 특정 구현 세부사항을 강제하는 지나치게 엄격한 테스트, 요구사항을 누락한 불충분한 프롬프트, 불완전한 수정을 허용하는 낮은 커버리지 테스트, 그리고 테스트 기대와 모순되는 오해의 소지가 있는 프롬프트입니다. 이러한 결과를 도출하기 위해 팀은 잠재적으로 손상된 286개의 작업을 표시하기 위해 자동화된 파이프라인을 사용했으며, 이후 각 작업마다 조사 에이전트와 숙련된 소프트웨어 엔지니어 5명이 검토했습니다.
OpenAI는 모델 개발자에게 이 벤치마크의 결과를 신중히 검토할 것을 권고하며, 평가 커뮤니티가 더 나은 인간 감독과 신뢰성을 보장하기 위해 숙련된 소프트웨어 개발자가 특별히 큐레이션한 새로운 벤치마크를 개발하기를 바랍니다.