Бенчмарк · reasoning
ARC-AGI 2
ARC-AGI 2 (Abstraction & Reasoning Corpus, версия 2, проводится как ARC Prize 2025) измеряет гибкое мышление: способность вывести абстрактное правило из нескольких примеров и применить его к новому случаю. Оценка — это процент головоломок, решённых верно на закрытом, полу-приватном наборе для оценки.
Подробнее
- Пример
- В задаче даётся несколько пар «вход→выход» в виде цветных сеток (небольшая сетка цветных клеток, изменённая по одному согласованному правилу), и решающий должен понять скрытое преобразование и построить правильную выходную сетку для нового входа.
- Метрика
- Каждая головоломка оценивается по принципу «решено/не решено»: полученная выходная сетка сравнивается с точной правильной сеткой, а итоговая оценка — это процент решённых головоломок на полу-приватном наборе для оценки.
- Приёмка
- Результаты проверяются автоматически по точному совпадению выходной сетки — предсказанная сетка должна совпадать с ответом клетка в клетку — на полу-приватном тестовом наборе, который не публикуется, чтобы исключить заучивание.
- Почему важно
- Он сосредоточен на задачах, которые легки для людей, но трудны для AI, поэтому служит внимательно отслеживаемым показателем настоящей абстракции и общего рассуждения, а не заученных знаний.
Разбор примера
Задача
Головоломка-сетка ARC-AGI-2: определите преобразование по обучающим парам, затем укажите выходную сетку для тестового входа (цифры 0–9 — цвета, 0 = чёрный фон). Обучение 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. Обучение 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. Тест: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
Решение
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
Разбор
Каждая обучающая пара показывает одно правило — «гравитацию»: каждая цветная клетка падает вертикально вниз на самые нижние свободные клетки своего столбца, сохраняя цвет и количество, а фон (0) поднимается вверх. В тесте две 5 в столбце 0 и две 2 в столбце 2 оседают в двух нижних строках. ARC-AGI-2 оценивается по точному совпадению сетки — правильные размеры и значение каждой клетки — по схеме pass@2 (две попытки).