Benchmark · general
MMLU
O MMLU (Massive Multitask Language Understanding) avalia a amplitude de conhecimento de um modelo em 57 áreas — de história e direito a matemática e medicina — por meio de questões de múltipla escolha. O resultado é dado como % de acerto: a proporção de questões respondidas corretamente.
Saiba mais
- Exemplo
- Um item típico traz uma pergunta e quatro alternativas rotuladas (A–D), e o modelo precisa escolher a correta — por exemplo, uma questão de medicina em nível universitário ou um problema de matemática básica.
- Pontuação
- A métrica é a acurácia (accuracy): o percentual de questões de múltipla escolha em que o modelo escolhe a alternativa correta, calculado como média entre as 57 áreas.
- Verificação
- A correção é automática e objetiva — a letra escolhida pelo modelo é comparada por correspondência exata (exact-match) com a resposta correta conhecida, sem necessidade de julgamento humano.
- Por que importa
- O MMLU virou uma régua padrão para medir amplitude de conhecimento e raciocínio, mas os melhores modelos já pontuam tão alto que ele está praticamente saturado e distingue menos os sistemas de ponta.
Exemplo resolvido
Tarefa
A seguir há uma questão de múltipla escolha sobre química do ensino médio. Qual das opções abaixo é um ácido forte? A) HF B) HCl C) CH3COOH D) H2CO3
Solução
O HCl se ioniza completamente em água, portanto é um ácido forte; HF, CH3COOH e H2CO3 se ionizam apenas parcialmente (ácidos fracos). Resposta final: B) HCl.
Explicação
Um ácido forte se dissocia totalmente em H+ e sua base conjugada em solução aquosa, o que o HCl faz e os demais não. O MMLU avalia por acurácia de correspondência exata: a letra da opção escolhida deve ser igual ao gabarito (B).