OpenAI провела детальный аудит бенчмарка для программирования SWE-Bench Pro и оценила, что примерно 30% его задач неработоспособны из-за недостатков в проектировании. Расследование было инициировано опасениями, что ошибки в оценке могут исказить возможности моделей и аргументы по безопасности, что привело OpenAI к отзыву своей предыдущей рекомендации по внедрению этого бенчмарка.
Исследование выявило четыре основные категории проблем: слишком строгие тесты, навязывающие конкретные детали реализации, недостаточно специфицированные промпты с пропусками требований, тесты с низким покрытием, допускающие неполные исправления, и вводящие в заблуждение промпты, противоречащие ожиданиям тестов. Для достижения этих выводов команда использовала автоматизированный конвейер для выявления 286 потенциально неработоспособных задач, которые затем были проверены агентами-исследователями и пятью опытными инженерами-программистами на каждую задачу.
OpenAI советует разработчикам моделей тщательно изучать результаты этого бенчмарка и надеется, что сообщество оценки разработает новые бенчмарки, курируемые специально опытными программистами для обеспечения лучшего человеческого контроля и надежности.