ベンチマーク · reasoning
ARC-AGI 1
ARC-AGI 1 は抽象的推論と汎化能力を測ります。各タスクでは入力→出力のグリッド例がいくつか示され、解答者は隠れた変換規則を推測して、新しい入力に対する正しい出力グリッドを作らなければなりません。指標は、出力グリッドが完全に一致して解けたタスクの割合（パーセント）です。
詳しく見る
- 例
- あるタスクでは2〜3個の小さな色付きグリッドが示され、各入力が同じ規則で出力に変わります——たとえば閉じた領域をすべて塗りつぶす、形を鏡のように反転させるなど——そして、その推測した規則を未見の新しいグリッドに適用します。
- 採点方法
- 生成したグリッドが正解と1マスずつ完全に一致したときだけ、そのタスクは解けたと数えられます。最終スコアは評価セット全体で解けたタスクの割合（パーセント）です。
- 検証方法
- 判定は自動かつ厳密で、提出された出力グリッドは正解グリッドとマス目ごとに比較され、部分点も人による投票もありません。
- 重要な理由
- これらのパズルは人間には簡単でも、記憶したパターンに頼るモデルには難しくなるよう作られており、知識の想起ではなく本当の抽象化と少数事例からの汎化を試します。そのため、より汎用的なAIへの進歩を測る指標として広く注目されています。
解説付きの例
課題
ARC-AGI 1 は入力→出力のグリッド例をいくつか示し、その後に伏せられたテスト入力を与える。変換規則を推論し、正確な出力グリッドを描く（セルは色 0-9、0=黒）。例は自己フラクタル規則を示す：各 3×3 グリッドは 9×9 に拡大し、セルに色がある位置にはグリッド全体の複製を、0 の位置には空の 3×3 ブロックを配置する。テスト入力（3×3）：
0 8 0 / 8 8 8 / 0 8 0（色 8 のプラス形）。解答
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
解説
色 8 のセルはプラスの四辺の中点と中心にある。プラスをちょうどこの 5 つの 3×3 ブロックに配置し（四隅は空のまま）9×9 フラクタルを作る。ARC-AGI はセル単位の完全一致のみを採点し、1 セルでも誤れば不正解、試行は最大 2 回まで。