벤치마크 · math
AIME 2024
AIME 2024는 2024년 American Invitational Mathematics Examination의 15개 문제로 모델의 고급 수학적 추론 능력을 측정하고, 정확히 푼 문제의 비율을 보고합니다.
자세히 보기
- 예시
- 전형적인 문제는 고등학교 수준의 어려운 경시 문제로, 예를 들어 정수론이나 조합론 문제이며 답은 하나의 정수입니다(AIME의 답은 항상 정수이며 보통 0에서 999 사이).
- 채점 방식
- 지표는 정확도로, 15개 문제 중 맞힌 비율을 나타냅니다. 따라서 한 문제를 맞힐 때마다 전체 점수의 1/15에 해당합니다.
- 검증 방식
- 결과는 정확 일치로 인정됩니다. 모델의 최종 정수 답이 공식 정답과 같아야 하며, 자동으로 확인되고 부분 점수나 사람 평가는 없습니다.
- 왜 중요한가
- 여러 단계의 추론이 필요한 어렵고 최신의 경시 문제로 이루어진 간결한 집합이라 최전선 모델을 비교하는 데 널리 쓰이며, 문제가 최신이라 학습 데이터 오염 위험이 줄어듭니다.
예제 풀이
문제
600 이하의 양의 정수 n 중에서 4 또는 6으로 나누어떨어지지만 5로는 나누어떨어지지 않는 것은 몇 개입니까? (AIME 답은 0부터 999까지의 정수입니다.)
해답
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
풀이
포함-배제 원리에 의해 4 또는 6으로 나누어떨어지는 수는 200개이고, 그중 40개는 5로도 나누어떨어지므로 160개가 남습니다. AIME는 최종 정수 답(0–999)만 자동 채점하며 부분 점수는 없습니다.