Бенчмарк · reasoning
ARC-AGI 1
ARC-AGI 1 измеряет способность к абстрактному рассуждению и обобщению: в каждой задаче даётся несколько примеров «вход→выход» в виде сеток, и решатель должен вывести скрытое правило преобразования и построить правильную выходную сетку для нового входа. Метрика — процент задач, решённых с точно совпавшей выходной сеткой.
Подробнее
- Пример
- Задача может показывать две-три небольшие цветные сетки, где каждый вход превращается в выход по одному и тому же правилу — например заливкой каждой замкнутой области или зеркальным отражением фигуры, — и это выведенное правило нужно применить к новой, ранее не виденной сетке.
- Метрика
- Задача считается решённой, только если построенная сетка совпадает с эталонным ответом клетка в клетку; итоговый результат — доля (процент) решённых задач по всему набору для оценки.
- Приёмка
- Проверка автоматическая и точная: присланная выходная сетка сравнивается с эталонной поклеточно, без частичного зачёта и без человеческого голосования.
- Почему важно
- Головоломки составлены так, чтобы быть лёгкими для людей, но трудными для моделей, опирающихся на запомненные шаблоны, поэтому бенчмарк проверяет настоящую абстракцию и обобщение по нескольким примерам, а не воспроизведение знаний, — и за ним пристально следят как за мерой прогресса к более общему ИИ.
Разбор примера
Задача
ARC-AGI 1 показывает несколько демонстраций «вход→выход» в виде сеток, затем — отложенный тестовый вход; нужно вывести правило и точно нарисовать выходную сетку (клетки — цвета 0-9, 0=чёрный). Здесь демонстрации раскрывают правило самофрактала: каждая сетка 3×3 расширяется до 9×9, вставляя копию всей сетки там, где клетка цветная, и пустой блок 3×3 там, где стоит 0. Тестовый вход (3×3):
0 8 0 / 8 8 8 / 0 8 0 (плюс цвета 8).Решение
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
Разбор
Клетки цвета 8 расположены в серединах четырёх сторон и в центре плюса; вставка плюса ровно в эти пять блоков 3×3 (и пустые четыре угла) строит фрактал 9×9. ARC-AGI засчитывает только точное поклеточное совпадение сетки — одна неверная клетка проваливает задачу, допускается до 2 попыток.