벤치마크 · reasoning
ZebraLogic
ZebraLogic는 프로그램으로 생성되는 논리 격자 퍼즐("아인슈타인"/"얼룩말" 퍼즐)로 구성된 추론 벤치마크로, LLM의 제약 충족과 연역 추론 능력을 평가한다. 핵심 지표는 퍼즐 단위 정확도, 즉 완전히 정확하게 푼 퍼즐의 비율이다(셀 단위 정확도는 더 세밀한 보조 지표).
자세히 보기
- 예시
- 전형적인 문항은 한 줄로 늘어선 N개의 집과 여러 속성 범주(예: 애완동물, 음료, 색)를 제시하며, 각 범주에는 서로 다른 N개의 값이 있고, 자연어 단서 목록이 함께 주어진다. 모델은 모든 단서를 만족하는, 각 값을 각 집에 배정하는 유일한 해를 추론해야 한다.
- 채점 방식
- 두 가지 지표. 퍼즐 단위(완전 일치) 정확도 = 모델이 격자 전체를 올바르게 채운 퍼즐의 비율; 셀 단위 정확도 = 올바르게 배정한 개별 "집–속성" 셀의 비율. 퍼즐은 격자 크기 / 탐색 공간 크기로 묶어, 정확도가 복잡도에 따라 어떻게 변하는지 보여준다.
- 검증 방식
- 각 퍼즐은 제약 해결기(solver)로 생성되어 유효한 해가 정확히 하나뿐이다. 모델의 구조화된 출력(격자 전체)을 정답과 셀 단위로 대조한다. 모든 셀이 일치할 때만 퍼즐이 해결된 것으로 집계되며, 퍼즐 단위에서는 부분 점수가 없다.
- 왜 중요한가
- 논리 격자 퍼즐은 암기와 패턴 매칭으로는 풀리지 않는 다단계의 체계적 연역을 요구하며, 절차적으로 생성되어 학습 데이터로 새어 들어가기 어렵다. ZebraLogic는 "복잡도의 저주"를 드러낸다 — 탐색 공간이 커질수록 정확도가 급격히 떨어진다 — 이는 진정한 추론 능력과, 추론 시점의 추론(사고 사슬 / 더 많은 연산)이 실제로 얼마나 도움이 되는지를 깔끔하게 검증하는 도구가 된다.
예제 풀이
문제
한 줄에 집 3채가 있으며, 왼쪽 1번부터 오른쪽 3번까지 번호가 매겨져 있다. 각 집은 서로 다른 애완동물(고양이, 개, 새)과 서로 다른 음료(차, 물, 우유)를 가진다.
단서:
1. 1번 집은 고양이를 기른다.
2. 고양이 주인은 차를 마신다.
3. 개 주인은 새 주인의 바로 왼쪽에 산다.
4. 새 주인은 우유를 마신다.
5. 2번 집에서는 물을 마신다.
각 집의 애완동물과 음료를 정하라.
해답
- 단서 1: 1번 집 = 고양이. 단서 3: 개는 새의 바로 왼쪽이므로 (개, 새) 쌍이 집 (2, 3)을 차지 — 1번 집은 이미 고양이. → 2번 집 = 개, 3번 집 = 새.
- 단서 2: 고양이 주인(1번 집)은 차. 단서 4: 새 주인(3번 집)은 우유. 단서 5: 2번 집은 물.
- 최종: 1번 집 = 고양이, 차; 2번 집 = 개, 물; 3번 집 = 새, 우유.
풀이
단서들이 사슬처럼 이어져 유일하게 강제되는 배정에 이르므로 해는 유일하다 — 바로 생성기가 보장하는 속성이다. 채점은 격자 전체를 해결기의 정답과 완전 일치로 대조한다: 여기서는 여섯 개의 "집–속성" 셀이 모두 정확하므로 퍼즐은 해결된 것으로 집계된다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.