ベンチマーク · agentic
SWE-bench Pro
Scale AI による、より難しく汚染に強い SWE-bench のバージョン。モデルが学習に使っていない、ホールドアウト（保留）された企業・スタートアップ・オープンソースのリポジトリから約 1,865 件の実際の GitHub issue を集めており、修正は通常複数のファイルにまたがる。
詳しく見る
- 例
- 実際の issue とリポジトリ全体が与えられると、エージェントはプロジェクトの隠れたテストスイートが通るようにパッチを生成しなければならない——多くの場合、複数のファイルにまたがる。問題は、学習データの漏洩を避けるために、あえて非公開・商用のリポジトリから採られている。
- 採点方法
- 解決された issue の割合（%）で、pass@1（1 回の試行）として報告される。高いほど良い。タスクがより難しく、これまで見たことのないものであるため、スコアは SWE-bench Verified よりも低くなる。
- 検証方法
- 完全自動かつホールドアウト方式：生成されたパッチが適用され、リポジトリの実際の隠れたユニットテストがサンドボックス内で実行される。すべての対象テストが通り、他に何も退行（リグレッション）しなかった場合にのみ、タスクは成功とみなされる。
- 重要な理由
- SWE-bench Verified でスコアを押し上げる汚染と飽和に耐えるよう作られており、モデルが一度も見たことのないコードに対する、実際に汎化するコーディングエージェントの能力をより純粋に示す指標となる。
解説付きの例
課題
固定されたベースコミットのリポジトリ
acme/payments。Issue：Money('0.05').allocate([1, 1, 1]) が 1 セントを失う——3 つのパートの合計が $0.05 ではなく $0.04 になる。配分が常に元の金額に合計されるようなパッチを生成せよ。解答
--- a/payments/money.py
+++ b/payments/money.py
@@ def allocate(self, ratios):
- total = sum(ratios)
- return [self._from_minor(self.minor * r // total) for r in ratios]
+ total = sum(ratios)
+ shares = [self.minor * r // total for r in ratios]
+ remainder = self.minor - sum(shares)
+ for i in range(remainder):
+ shares[i] += 1
+ return [self._from_minor(s) for s in shares]解説
整数除算は切り捨てを行うため、余った補助単位（セント）が黙って失われていた。修正では各取り分を計算し、その後、余りを 1 単位ずつ先頭のパートに分配することで、配分されたパートの合計が常に総額に一致することを保証する。隠れたテストは、複数の金額と比率にわたって
sum(m.allocate(ratios)) == m を検証する。