Benchmark · math
AIME 2024
AIME 2024 mede o raciocínio matemático avançado de um modelo usando os 15 problemas do American Invitational Mathematics Examination de 2024 e informa a porcentagem resolvida corretamente.
Saiba mais
- Exemplo
- Um item típico é um problema difícil de olimpíada escolar — por exemplo, de teoria dos números ou combinatória — cuja resposta é um único número inteiro (no AIME a resposta é sempre um inteiro, normalmente de 0 a 999).
- Pontuação
- A métrica é a acurácia: a proporção dos 15 problemas respondidos corretamente, de modo que cada problema resolvido vale 1/15 da pontuação.
- Verificação
- O resultado é aceito por correspondência exata: o número inteiro final do modelo precisa ser igual à resposta oficial, verificado automaticamente, sem pontuação parcial e sem avaliação humana.
- Por que importa
- Por ser um conjunto compacto de problemas de competição difíceis e recentes que exigem raciocínio de várias etapas, é muito usado para comparar modelos de fronteira, e sua novidade reduz a contaminação dos dados de treino.
Exemplo resolvido
Tarefa
Quantos inteiros positivos n ≤ 600 são divisíveis por 4 ou por 6, mas não por 5? (As respostas do AIME são inteiros de 0 a 999.)
Solução
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
Explicação
Por inclusão-exclusão, 200 inteiros são divisíveis por 4 ou 6, e 40 deles também por 5, restando 160. O AIME corrige automaticamente apenas o inteiro final (0–999), sem crédito parcial pelo desenvolvimento.