벤치마크 · math
FrontierMath
FrontierMath는 Epoch AI가 만든 벤치마크로, AI 모델이 극도로 어렵고 독창적인 연구 수준의 수학 문제를 얼마나 잘 푸는지를 측정한다. 점수는 모델이 정답을 맞힌 문제의 비율이며, 현재 모델들은 극히 일부만 풀 수 있어 포화와는 거리가 멀다.
자세히 보기
- 예시
- 정수론(number theory), 대수기하학, 조합론 같은 고급 분야에서 나온, 이전에 공개된 적 없는 한 문제로, 풀이에 깊은 전문 지식이 필요하며 최종적으로 하나의 확정된 답(예: 특정 정수나 정확한 수학적 대상)으로 귀결된다.
- 채점 방식
- 지표는 정확도(accuracy)로, 최종 답이 기준 답과 정확히 일치하는 문제의 비율을 백분율로 나타낸다.
- 검증 방식
- 각 문제에는 자동으로 검증 가능한 하나의 확정된 답이 있어, 기준 답과 정확히 일치할 때만 정답으로 인정된다. 문제는 전문 수학자들이 찍어서 맞히기 거의 불가능하도록 설계한다.
- 왜 중요한가
- 문제가 새롭기 때문에 암기가 통하지 않고 지금도 정복과는 거리가 멀어서, 진짜 고급 수학적 추론과 패턴 매칭을 여전히 뚜렷이 구분해 내는 몇 안 되는 수학 벤치마크 중 하나다.
예제 풀이
문제
$0 \le n < 3^{13}$ 이고 중심 이항계수 $\binom{2n}{n}$ 이 $3$ 으로 나누어떨어지지 않는 정수 $n$ 의 개수를 구하여라.
해답
Kummer 정리에 의해, $3 \nmid \binom{2n}{n}$ 인 것은 3진법에서 $n+n$ 을 더할 때 받아올림이 없는 경우, 즉 $n$ 의 모든 3진 자릿수가 0 또는 1인 경우와 정확히 일치한다. $0 \le n < 3^{13}$ 범위에서 이는 13개 자릿수 각각에 2가지 선택을 주므로 개수는 $2^{13} = 8192$ 이다.
풀이
Kummer 정리는 $v_3\binom{2n}{n}$ 을 3진법에서 $n$ 을 자기 자신과 더할 때의 받아올림 횟수로 준다. 받아올림이 0이려면 각 3진 자릿수가 0 또는 1이어야 하므로, 13개 자릿수에서 자릿수당 2가지이다. 채점: 자동 채점기가 유일한 최종 정수(8192)를 정확히 대조한다.