SWE-rebench와 같은 오염 제거 벤치마크를 사용한 2026년 2월 분석은 전통적인 정적 리더보드에 가려진 주요 AI 코딩 모델 간의 상당한 성능 격차를 드러냈습니다. 이 연구는 벤치마크 오염이 일부 모델의 점수를 부풀려, 실제로 최상위 옵션과 경쟁력이 없음에도 불구하고 경쟁력 있는 것처럼 보이게 만드는 방식을 강조합니다.

  • MiniMax M2.5는 SWE-bench Verified에서 80.2%를 기록했지만 오염 제거된 SWE-rebench에서는 39.6%로 하락했으며, Claude Opus 4.6은 51.7%의 선두를 유지했습니다.
  • SWE-rebench 상위 10개 모델은 Anthropic, OpenAI, Google에서만 나왔으며, Kimi K2와 GLM-5와 같은 중국산 모델은 하위 랭킹에 머물렀습니다.
  • Gemini 3 Pro는 LiveCodeBench의 알고리즘 과제에서 우위를 점하지만, 다중 파일 편집이 필요한 실제 소프트웨어 엔지니어링 작업에서는 Claude Opus 4.6에 뒤처집니다.
  • SpecWeave는 엄격한 오염 제거 벤치마크에서의 우수한 성능으로 인해 복잡한 구현에 Claude Opus 4.6을 기본값으로 사용합니다.

데이터는 Tier 1과 Tier 3 모델 간의 격차가 상당하며, 더 나은 모델이 문제당 비용이 높아짐에도 불구하고 재시도 및 수동 정리 필요성을 줄여준다는 것을 시사합니다.