벤치마크 · math
MATH-500
MATH-500은 경시 수학 데이터셋 MATH에서 500문제를 추린 부분집합으로, 어려운 수학 문제를 푸는 모델의 능력을 평가합니다. 점수는 모델이 최종 답을 맞힌 문제의 비율(백분율)입니다.
자세히 보기
- 예시
- 대표적인 문항은 경시대회 수준의 수학 문제로, 예를 들어 여러 단계의 추론을 거쳐 하나의 최종 답(숫자나 닫힌 형태의 식)을 요구하는 대수·기하·정수론 문제입니다.
- 채점 방식
- 점수는 500문제 중 모델이 맞힌 비율, 즉 accuracy = 맞힌 최종 답 수 / 500이며 백분율로 나타냅니다.
- 검증 방식
- 모델의 최종 답이 기준 정답과 정확히 일치할 때 그 문제를 푼 것으로 간주합니다(중간 과정이 아니라 최종 답에 대한 자동 동치성 검사).
- 왜 중요한가
- 수학적 추론을 측정하는 간결하고 널리 쓰이는 척도로, 전체 MATH 세트보다 빠르게 실행되어 추론 모델을 비교할 때 흔히 쓰는 빠른 점검 수단입니다.
예제 풀이
문제
어떤 $k$ 값에 대해 이차방정식 $x^2 - kx + 16 = 0$ 은 양의 정수 근만을 가진다. $k$ 의 서로 다른 가능한 모든 값의 합을 구하여라.
해답
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
풀이
근 $r,s$ 는 $rs=16$ 과 $k=r+s$ 를 만족하는 양의 정수이며, 인수 쌍 $(1,16),(2,8),(4,4)$ 에서 $k=17,10,8$ 이 나오므로 서로 다른 값의 합은 $35$ 이다. MATH-500 은 정규화된 최종 \boxed{} 답의 정확한 일치로 채점하므로 $35$ 만 정답으로 인정된다.