Benchmark · math
AIME 2025
O AIME 2025 avalia o raciocínio matemático avançado de um modelo usando os 15 problemas do American Invitational Mathematics Examination de 2025, uma difícil competição do ensino médio. Cada resposta é um número inteiro de 0 a 999, e a pontuação do modelo é a porcentagem de problemas resolvidos corretamente (frequentemente reportada como pass@1 ou avg@k).
Saiba mais
- Exemplo
- Um item típico é um problema de competição desafiador — por exemplo, de teoria dos números ou combinatória — cuja solução é um único inteiro entre 0 e 999, como encontrar o número de pares ordenados que satisfazem um dado conjunto de condições algébricas.
- Pontuação
- Cada um dos 15 problemas é avaliado por correspondência exata da resposta inteira, e a pontuação é a fração (porcentagem) resolvida corretamente; como as respostas variam entre execuções, os resultados costumam ser calculados como média de muitas amostras (avg@k) ou reportados como pass@1.
- Verificação
- A verificação é automática e objetiva: o inteiro final do modelo é comparado com o gabarito oficial, sem crédito parcial e sem julgamento humano, de modo que uma solução só é aceita com correspondência numérica exata.
- Por que importa
- Os problemas do AIME exigem raciocínio criativo de várias etapas em vez de memorização, por isso esse benchmark é uma medida muito acompanhada da capacidade matemática dos LLMs de fronteira e um número de destaque comum no lançamento de novos modelos de raciocínio.
Exemplo resolvido
Tarefa
Problema representativo no estilo AIME (a resposta é um inteiro de 0 a 999): encontre a soma de todos os inteiros positivos n para os quais √(n² + 85n + 2017) é um inteiro.
Solução
Complete o quadrado: (2m)² − (2n+85)² = 843 = 3·281. Fatore a diferença de quadrados: (2m−2n−85)(2m+2n+85) = 843, o que dá n = 168 ou n = 27. Soma = 168 + 27 = 195.
Explicação
Completar o quadrado transforma a condição em uma diferença de quadrados (2m)² − (2n+85)² = 843 = 3·281, cujas únicas fatorações positivas dão n = 168 e n = 27, somando 195. O AIME é avaliado pela correspondência exata da única resposta inteira (0–999), sem crédito parcial.