Benchmark · math
AIME 2024
AIME 2024 用 2024 年 American Invitational Mathematics Examination 的 15 道题来衡量模型的高级数学推理能力，并报告正确解出的百分比。
了解更多
- 示例
- 一个典型题目是高难度的中学竞赛题，例如数论或组合数学问题，其答案为单个整数（AIME 的答案始终是整数，通常在 0 到 999 之间）。
- 评分方式
- 指标是准确率：在 15 道题中答对的比例，因此每答对一题占总分的 1/15。
- 验证方式
- 结果通过精确匹配来判定：模型给出的最终整数答案必须与官方答案完全一致，由程序自动核对，没有部分得分，也不需要人工评判。
- 为何重要
- 它是一组高难度且较新的竞赛题，需要多步推理，因此被广泛用于比较前沿模型，而题目的新近性降低了训练数据污染的风险。
示例解析
任务
有多少个正整数 n ≤ 600 能被 4 或 6 整除，但不能被 5 整除？（AIME 的答案是 0 到 999 之间的整数。）
解答
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
解析
由容斥原理，能被 4 或 6 整除的有 200 个，其中 40 个还能被 5 整除，剩下 160 个。AIME 只自动评判最终的整数答案（0–999），没有过程分。