SWE-rebenchなどのデコンタミネーション済みベンチマークを用いた2026年2月の分析は、従来の静的リーダーボードでは隠蔽されている主要なAIコーディングモデル間の顕著なパフォーマンスの格差を明らかにした。この研究は、ベンチマークの汚染が一部のモデルのスコアを膨張させ、実際にはトップティアの選択肢と競争力がないにもかかわらず、それらが競合可能であるかのように見せる方法を浮き彫りにしている。

  • MiniMax M2.5はSWE-bench Verifiedで80.2%を獲得したが、デコンタミネーション済みSWE-rebenchでは39.6%に低下し、Claude Opus 4.6は51.7%の首位を維持した。
  • SWE-rebenchのトップ10モデルはAnthropic、OpenAI、Googleからのみ構成され、Kimi K2やGLM-5などの中国製モデルはより低いランクにとどまった。
  • Gemini 3 ProはLiveCodeBenchのアルゴリズム課題で支配的な立場にあるが、マルチファイル編集を必要とする実際のソフトウェアエンジニアリングタスクではClaude Opus 4.6に後れを取っている。
  • SpecWeaveは、厳格なデコンタミネーション済みベンチマークでの優れたパフォーマンスにより、複雑な実装にはClaude Opus 4.6をデフォルトで使用している。

データは、Tier 1とTier 3モデル間の格差が非常に大きいことを示唆しており、より優れたモデルは問題あたりのコストが高騰するにもかかわらず、リトライや手動クリーンアップの必要性を削減している。