벤치마크 · reasoning
ARC-AGI 1
ARC-AGI 1은 추상적 추론과 일반화 능력을 측정합니다. 각 과제는 입력→출력 격자 예시 몇 개를 보여 주고, 푸는 쪽은 숨은 변환 규칙을 추론해 새 입력에 대한 올바른 출력 격자를 만들어야 합니다. 지표는 출력 격자가 정확히 일치해 푼 과제의 비율(퍼센트)입니다.
자세히 보기
- 예시
- 한 과제에서는 두세 개의 작은 색상 격자가 주어지고, 각 입력이 같은 규칙으로 출력으로 바뀝니다 — 예를 들어 닫힌 영역을 모두 채우거나 도형을 거울처럼 뒤집는 식으로 — 그리고 추론한 그 규칙을 처음 보는 새 격자에 적용해야 합니다.
- 채점 방식
- 만들어 낸 격자가 정답과 칸 하나하나까지 일치할 때만 그 과제를 푼 것으로 셉니다. 최종 점수는 평가 세트 전체에서 푼 과제의 비율(퍼센트)입니다.
- 검증 방식
- 채점은 자동이고 정확합니다. 제출한 출력 격자를 정답 격자와 칸 단위로 비교하며, 부분 점수도 사람 투표도 없습니다.
- 왜 중요한가
- 이 퍼즐들은 사람에게는 쉽지만 암기한 패턴에 의존하는 모델에게는 어렵도록 설계되어, 지식 암기가 아니라 진짜 추상화와 소수 예시 일반화를 시험합니다 — 그래서 더 범용적인 AI로 나아가는 진전을 재는 척도로 주목받습니다.
예제 풀이
문제
ARC-AGI 1은 입력→출력 그리드 예시 몇 개를 보여준 뒤 숨겨진 테스트 입력을 준다. 변환 규칙을 추론해 정확한 출력 그리드를 그려야 한다(칸은 색 0-9, 0=검정). 예시는 자기 프랙탈 규칙을 드러낸다: 각 3×3 그리드는 9×9로 확장되어, 칸에 색이 있으면 전체 그리드의 복사본을, 0이면 빈 3×3 블록을 찍는다. 테스트 입력(3×3):
0 8 0 / 8 8 8 / 0 8 0 (색 8의 플러스 모양).해답
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
풀이
색 8 칸은 플러스의 네 변 중점과 중심에 있으며, 플러스를 바로 이 다섯 개의 3×3 블록에 찍고(네 모서리는 비움) 9×9 프랙탈을 만든다. ARC-AGI는 칸 단위 완전 일치만 채점하며, 한 칸이라도 틀리면 실패하고 시도는 최대 2회까지 허용된다.