Benchmark · general
MMLU-Pro
MMLU-Pro é um sucessor mais difícil e voltado ao raciocínio do MMLU que avalia o conhecimento e a resolução de problemas de um modelo em muitas disciplinas acadêmicas por meio de questões de múltipla escolha, cada uma com 10 opções de resposta. O resultado é dado como porcentagem de acerto — a proporção de questões respondidas corretamente.
Saiba mais
- Exemplo
- Um item típico é uma questão de múltipla escolha de uma área como matemática, física, direito ou engenharia que exige vários passos de raciocínio, na qual o modelo deve escolher a única resposta correta entre 10 opções (contra 4 no MMLU original).
- Pontuação
- A métrica é a acurácia (accuracy): a porcentagem de questões em que o modelo escolhe a opção correta, calculada como respostas corretas dividido pelo total de questões.
- Verificação
- Cada resposta é avaliada automaticamente por correspondência exata entre a opção escolhida pelo modelo e o rótulo correto conhecido, sem necessidade de julgamento humano.
- Por que importa
- Como os principais modelos quase haviam saturado o MMLU original, as questões mais difíceis e as 10 opções do MMLU-Pro o tornam mais discriminativo e mais sensível ao raciocínio real, oferecendo uma medida mais limpa do progresso.
Exemplo resolvido
Tarefa
MMLU-Pro (física, 10 opções). Um projétil é lançado do nível do solo a 20 m/s, a 30° acima da horizontal (g = 10 m/s², sem resistência do ar). Qual é a sua altura máxima? A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
Solução
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
Explicação
No ponto mais alto a velocidade vertical é zero, então h_max = v_y²/(2g) com v_y = v·sin30°; apenas a componente vertical define a altura. O MMLU-Pro pontua por correspondência exata da letra escolhida com o gabarito (accuracy sobre suas 10 opções).