Benchmark · math
MATH-500
O MATH-500 é um subconjunto de 500 problemas do conjunto de dados de matemática de competição MATH, usado para avaliar a capacidade de um modelo de resolver problemas matemáticos difíceis. A pontuação é a porcentagem de problemas cuja resposta final o modelo acerta.
Saiba mais
- Exemplo
- Um item típico é um problema matemático no estilo de competição — por exemplo, uma questão de álgebra, geometria ou teoria dos números que pede uma única resposta final (um número ou uma expressão em forma fechada) após várias etapas de raciocínio.
- Pontuação
- A pontuação é a proporção dos 500 problemas que o modelo responde corretamente, ou seja, accuracy = respostas finais corretas / 500, expressa como porcentagem.
- Verificação
- Um problema é considerado resolvido quando a resposta final do modelo coincide exatamente com a resposta de referência (uma verificação automática de equivalência da resposta final, e não das etapas intermediárias).
- Por que importa
- É uma medida compacta e amplamente usada de raciocínio matemático que roda mais rápido que o conjunto MATH completo, por isso é uma verificação rápida comum ao comparar modelos de raciocínio.
Exemplo resolvido
Tarefa
Para certos valores de $k$, a equação quadrática $x^2 - kx + 16 = 0$ tem apenas raízes inteiras positivas. Encontre a soma de todos os valores distintos possíveis de $k$.
Solução
Roots $r,s$: $rs=16$, $k=r+s$. Pairs $(1,16),(2,8),(4,4)\Rightarrow k\in\{17,10,8\}$. Distinct sum $=17+10+8=\boxed{35}$.
Explicação
As raízes $r,s$ são inteiros positivos com $rs=16$ e $k=r+s$; os pares de fatores $(1,16),(2,8),(4,4)$ dão $k=17,10,8$, então a soma dos valores distintos é $35$. O MATH-500 avalia por correspondência exata da resposta final normalizada em \boxed{}, portanto apenas $35$ conta.