Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) é um benchmark de problemas matemáticos escolares em forma de enunciado, cada um exigindo vários passos de raciocínio aritmético; o modelo é pontuado pela porcentagem de problemas em que sua resposta numérica final está correta.
Saiba mais
- Exemplo
- Um problema curto como «Natalia vendeu prendedores para 48 amigas em abril e metade disso em maio; quantos prendedores ela vendeu no total?» — o modelo precisa percorrer os passos e dar o número final.
- Pontuação
- A pontuação é a accuracy (acurácia): a proporção de problemas cuja resposta numérica final corresponde exatamente à resposta de referência; o raciocínio intermediário não é avaliado, apenas o número final.
- Verificação
- A verificação é automática e por correspondência exata: o número final do modelo é extraído (geralmente após um delimitador como «####») e comparado com a resposta correta, sem necessidade de julgamento humano.
- Por que importa
- Tornou-se um teste padrão e fácil de checar de raciocínio em vários passos, e a conhecida técnica de prompting chain-of-thought mostrou melhorar bastante os resultados, o que a transformou em uma régua comum da capacidade de raciocínio.
Exemplo resolvido
Tarefa
Maria tem 3 caixas de giz de cera com 24 gizes em cada caixa. Ela dá 15 gizes ao irmão e depois compra mais 2 caixas cheias. Quantos gizes ela tem agora?
Solução
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
Explicação
Multiplica-se para obter o total inicial, subtrai-se o que ela dá e somam-se as caixas novas: 72 − 15 + 48 = 105. O GSM8K avalia apenas o número final extraído após o delimitador '####' por correspondência exata, então os passos do raciocínio não são pontuados — só 105 conta.