ベンチマーク · reasoning
ARC-AGI 2
ARC-AGI 2（Abstraction & Reasoning Corpus 第2版、ARC Prize 2025 として実施）は流動的推論を測ります。すなわち、わずかな例から抽象的なルールを推測し、それを新しいケースに適用する能力です。スコアは、非公開に近い（semi-private）評価用データセットで正しく解けたパズルの割合です。
詳しく見る
- 例
- 課題では色付きグリッドの入力→出力のペアがいくつか示され（色付きセルの小さなグリッドが一貫した方法で変換されたもの）、解答者は隠れた変換規則を見抜き、新しい入力に対する正しい出力グリッドを作らなければなりません。
- 採点方法
- 各パズルは正解/不正解で採点されます。生成した出力グリッドを完全に正しいグリッドと比較し、報告されるスコアは semi-private 評価セットで解けたパズルの割合です。
- 検証方法
- 結果は出力グリッドの完全一致で自動的に検証され（予測したグリッドが答えとマス目単位で一致する必要があります）、丸暗記を防ぐため一般公開されない semi-private のテストセットで評価されます。
- 重要な理由
- 人間には簡単でも AI には難しいパズルに焦点を当てているため、暗記した知識ではなく本当の抽象化と汎用的な推論を測る指標として注目されています。
解説付きの例
課題
ARC-AGI-2 のグリッドパズル：訓練ペアから変換規則を推論し、テスト入力に対する出力グリッドを答えてください（数字 0–9 は色、0 = 黒の背景）。訓練 1：[[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]。訓練 2：[[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]。テスト：[[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ？
解答
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
解説
どの訓練ペアも同じ規則――「重力」を示している：各色付きセルは列内を真下に落ち、その列の最も下の空きセルに積もり、色と個数は保たれ、背景（0）は上に移動する。テストでは、列 0 の二つの 5 と列 2 の二つの 2 が下から二行に収まる。ARC-AGI-2 はグリッドの完全一致で採点し――寸法が正しく、各セルの値も正しいこと――2 回まで許される pass@2 で評価する。