연구원들은 소프트웨어 테스트와 코드의 공동 진화에서 에이전트가 얼마나 잘 처리하는지 평가하기 위해 설계된 라이브 벤치마크인 TestEvo-Bench를 소개합니다. 기존 벤치마크가 정적 메타데이터에 의존하는 것과 달리, 이 프레임워크는 실제 커밋 기록과 환경 구성을 사용하여 통과율 및 커버리지와 같은 실행 가능 지표를 검증합니다.
이 벤치마크는 두 가지 트랙으로 구성됩니다: 새로운 동작에 대해 에이전트가 새 테스트를 작성하는 '테스트 생성'과 변경된 코드에 실패한 테스트를 적응시키는 '테스트 업데이트'입니다. 152개의 오픈소스 Java 프로젝트에서 선별된 746개의 테스트 생성 작업과 509개의 테스트 업데이트 작업으로 구성되어 있습니다. 이 벤치마크의 라이브 특성은 모델의 학습 데이터 컷오프 이후의 작업으로만 평가를 제한하여 데이터 유출을 줄일 수 있게 합니다.
Claude Code, Gemini CLI 및 SWE-Agent를 결합한 에이전트에 대한 실험 결과, 테스트 생성에서는 최대 77.5%, 테스트 업데이트에서는 74.6%의 성공률을 보였습니다. 그러나 최근 작업과 제한된 작업당 비용 제약 하에서는 성능이 크게 떨어졌습니다.