벤치마크 · math
FrontierMath
FrontierMath는 Epoch AI가 만든 벤치마크로, AI 모델이 극도로 어렵고 독창적인 연구 수준의 수학 문제를 얼마나 잘 푸는지를 측정한다. 점수는 모델이 정답을 맞힌 문제의 비율이며, 현재 모델들은 극히 일부만 풀 수 있어 포화와는 거리가 멀다.
자세히 보기
- 예시
- 정수론(number theory), 대수기하학, 조합론 같은 고급 분야에서 나온, 이전에 공개된 적 없는 한 문제로, 풀이에 깊은 전문 지식이 필요하며 최종적으로 하나의 확정된 답(예: 특정 정수나 정확한 수학적 대상)으로 귀결된다.
- 채점 방식
- 지표는 정확도(accuracy)로, 최종 답이 기준 답과 정확히 일치하는 문제의 비율을 백분율로 나타낸다.
- 검증 방식
- 각 문제에는 자동으로 검증 가능한 하나의 확정된 답이 있어, 기준 답과 정확히 일치할 때만 정답으로 인정된다. 문제는 전문 수학자들이 찍어서 맞히기 거의 불가능하도록 설계한다.
- 왜 중요한가
- 문제가 새롭기 때문에 암기가 통하지 않고 지금도 정복과는 거리가 멀어서, 진짜 고급 수학적 추론과 패턴 매칭을 여전히 뚜렷이 구분해 내는 몇 안 되는 수학 벤치마크 중 하나다.
예제 풀이
FrontierMath 문항은 자기완결적인 연구 수준의 수학 문제로, 그 답은 자동 채점기(대개 SymPy)가 검증할 수 있는 단일한 정확한 값이며, 충분히 크거나 구체적이어서 추측으로는 사실상 맞힐 수 없습니다. 이 형식의 대표적인 예: 「각 소수 p에 대해 ord_p(2)를 p를 법으로 한 2의 곱셈적 위수 — 즉 2^k ≡ 1 (mod p)를 만족하는 가장 작은 양의 정수 k — 라 하자. 100 < p < 200인 모든 소수 p에 대해 Σ ord_p(2)를 계산하고 정확한 정수로 답하라.」 답: 2140. 추론: 그러한 소수는 21개이며, 각 p에 대해 ord_p(2)는 반드시 p−1을 나눈다(페르마의 소정리). 따라서 2^k ≡ 1을 만족하는 가장 작은 k를 찾기 위해 p−1의 약수를 작은 것부터 시험한다 — 예를 들어 법 127에서는 2^7 = 128 ≡ 1이므로 ord = 7이고, 법 101에서는 2가 원시근이므로 ord = 100이다. 이 21개의 위수를 더하면 2140이 되고, 채점 프로그램은 정수의 정확한 일치로 답을 확인한다. (실제 FrontierMath 문제는 훨씬 어렵고 전문 수학자도 몇 시간씩 걸리는 경우가 많지만, 형식 — 기계로 확인 가능한 하나의 정확한 수 — 은 바로 이와 같다.)
이 벤치마크에 대해 아직 검증된 점수가 없습니다.