AgentSeal v5 감사 도구는 잠재적 오염 위험을 평가하기 위해 SWE-bench Pro 벤치마크의 아티팩트 공개 가용성을 평가했습니다. 연구 결과, 12개의 인스턴스가 결정론적 콘텐츠 중복을 보였고 76개 저장소가 코퍼스 구성원일 가능성이 있었으나, 대부분의 증거는 차단 이전의 오염 입증보다는 날짜 미상의 공개 복제본이었습니다.
- AgentSeal은 결정론적 코드 중복, 확률적 Bloom 필터 멤버십 및 공개 소스 복제 확인을 사용하여 731개의 공개 SWE-bench Pro 인스턴스를 감사했습니다.
- CodeSeel 인덱스에서 12개의 인스턴스가 결정론적 콘텐츠 중복 신호를 보였고, 76개의 소스 저장소가 Stack V2 코퍼스의 구성원일 가능성이 있는 것으로 표시되었습니다.
- 234개 인스턴스(32%)가 원래 저장소 외부에서 금전 패치 텍스트의 공개 복제를 보였으나, 훈련 차단 시점과의 시간적 정렬은 불가능했습니다.
- 기본 브랜치 금전 패치의 약 75.4%가 Pro 감사 합의 경로 하에 노출되었습니다.
- 148개 인스턴스는 소스 PR diff에서 숨겨진 테스트 케이스 코드가 공개적으로 표시되어 있어 테스트 신호 노출을 나타냈습니다.
이 결과는 벤치마크 아티팩트가 공개 소스에 널리 복제되어 있으며, 차단 이전 훈련 데이터 포함의 직접적인 증거가 부족하더라도 오염이 가능한 조건을 만들어낸다는 점을 강조합니다.