Инструмент аудита AgentSeal v5 оценил публичную доступность артефактов в бенчмарке SWE-bench Pro для оценки потенциальных рисков загрязнения. Исследование показало, что хотя 12 примеров демонстрируют детерминированное перекрытие контента, а 76 репозиториев являются вероятными членами корпуса, большинство доказательств состояло из публичных репликаций с неизвестной датой, а не из доказанного загрязнения до отсечки.
- AgentSeal проверил 731 публичный пример SWE-bench Pro с использованием детерминированного перекрытия кода, вероятностного членства в фильтре Блума и проверок публичных репликаций.
- В 12 примерах были обнаружены сигналы детерминированного перекрытия контента в индексе CodeSeal, а 76 исходных репозиториев были помечены как вероятные члены корпуса Stack V2.
- 234 примера (32%) показали публичную репликацию текста золотого патча вне оригинального репозитория, хотя временное выравнивание с отсечками обучения недоступно.
- Примерно 75,4% золотых патчей ветки по умолчанию были раскрыты в рамках консенсусного пути аудита Pro.
- В 148 примерах код скрытых тестовых случаев был публично виден в диффе исходного PR, что указывает на раскрытие сигналов тестирования.
Выводы подчеркивают, что артефакты бенчмарка широко реплицируются в публичных источниках, создавая условия, при которых загрязнение возможно, даже если прямых доказательств включения данных для обучения до отсечки нет.