벤치마크 · reasoning
ARC-AGI 2
ARC-AGI 2(Abstraction & Reasoning Corpus 2판, ARC Prize 2025로 진행)는 유동적 추론을 측정합니다. 즉 몇 개의 예시만으로 추상적인 규칙을 추론해 새로운 경우에 적용하는 능력입니다. 점수는 공개하지 않는 준(準)비공개 평가 세트에서 올바르게 푼 퍼즐의 비율입니다.
자세히 보기
- 예시
- 한 문제에서는 색깔 grid의 입력→출력 쌍 몇 개가 주어지고(색칠된 칸으로 된 작은 grid가 일관된 방식으로 변형된 것), 푸는 사람은 숨겨진 변환 규칙을 알아내 새로운 입력에 대한 올바른 출력 grid를 만들어야 합니다.
- 채점 방식
- 각 퍼즐은 통과/실패로 채점됩니다. 생성한 출력 grid를 정확한 정답 grid와 비교하며, 보고되는 점수는 준비공개 평가 세트에서 푼 퍼즐의 비율입니다.
- 검증 방식
- 결과는 출력 grid의 정확 일치로 자동 검증되며(예측한 grid가 정답과 칸 단위로 일치해야 함), 암기를 막기 위해 공개하지 않는 준비공개 테스트 세트에서 평가됩니다.
- 왜 중요한가
- 사람에게는 쉽지만 AI에게는 어려운 퍼즐에 초점을 맞추기 때문에, 암기된 지식이 아니라 진정한 추상화와 일반 추론 능력을 재는 주목받는 지표입니다.
예제 풀이
문제
ARC-AGI-2 그리드 퍼즐: 학습 쌍에서 변환 규칙을 추론한 뒤, 테스트 입력에 대한 출력 그리드를 제시하세요 (숫자 0–9는 색상, 0 = 검은 배경). 학습 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. 학습 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. 테스트: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
해답
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
풀이
모든 학습 쌍이 하나의 규칙, 즉 '중력'을 보여준다: 각 색칠된 칸은 자기 열에서 곧장 아래로 떨어져 가장 아래의 빈 칸에 쌓이며 색과 개수는 유지되고 배경(0)은 위로 올라간다. 테스트에서는 0열의 5 두 개와 2열의 2 두 개가 맨 아래 두 행에 자리 잡는다. ARC-AGI-2는 그리드 완전 일치로 채점하며 — 올바른 크기와 모든 칸의 값 — 두 번의 시도를 허용하는 pass@2로 점수를 매긴다.