벤치마크 · math
AIME 2025
AIME 2025는 어려운 고등학교 수학 경시대회인 2025년 American Invitational Mathematics Examination의 15문제를 사용해 모델의 고급 수학적 추론 능력을 측정합니다. 각 문제의 답은 0에서 999 사이의 정수이며, 모델의 점수는 정확히 푼 문제의 비율(흔히 pass@1 또는 avg@k로 보고)입니다.
자세히 보기
- 예시
- 전형적인 문항은 예를 들어 정수론이나 조합론 같은 까다로운 경시 문제로, 그 답은 0에서 999 사이의 단일 정수입니다. 가령 주어진 대수적 조건을 만족하는 순서쌍의 개수를 구하는 식입니다.
- 채점 방식
- 15문제 각각을 정수 답의 정확한 일치로 채점하며, 점수는 정확히 푼 비율(백분율)입니다. 답이 실행마다 달라지므로 결과는 보통 여러 샘플에 대해 평균을 내거나(avg@k) pass@1로 보고합니다.
- 검증 방식
- 검증은 자동적이고 객관적입니다. 모델이 낸 최종 정수를 공식 정답과 대조하며, 부분 점수도 사람의 판정도 없어서 수치가 정확히 일치할 때만 정답으로 인정됩니다.
- 왜 중요한가
- AIME 문제는 암기가 아니라 여러 단계의 창의적 추론을 요구하기 때문에, 이 벤치마크는 최첨단 LLM의 수학 능력을 가늠하는 널리 주목받는 척도이며 새로운 추론 모델이 출시될 때 자주 등장하는 대표 수치입니다.
예제 풀이
문제
AIME 형식의 대표적인 문제(답은 0에서 999까지의 정수): √(n² + 85n + 2017) 이 정수가 되는 모든 양의 정수 n 의 합을 구하시오.
해답
완전제곱식으로 만들기: (2m)² − (2n+85)² = 843 = 3·281. 제곱의 차를 인수분해: (2m−2n−85)(2m+2n+85) = 843, 따라서 n = 168 또는 n = 27. 합 = 168 + 27 = 195.
풀이
완전제곱식으로 정리하면 조건이 제곱의 차 (2m)² − (2n+85)² = 843 = 3·281 로 바뀌고, 유일한 양의 인수분해가 n = 168 과 n = 27 을 주어 합이 195 이다. AIME 는 단일 정수 답(0–999)의 정확한 일치로 채점하며 부분 점수는 없다.