Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) é um benchmark de questões de fronteira e nível especialista que abrangem muitos domínios acadêmicos (matemática, ciências, humanidades e mais), feito de propósito para ser extremamente difícil para a IA. Ele relata o desempenho como porcentagem de acertos (accuracy).
Saiba mais
- Exemplo
- Cada item é uma questão especialista de resposta fechada com uma única resposta correta; por exemplo, um problema avançado de matemática ou uma questão científica em nível de pós-graduação (algumas com uma imagem anexa), apresentada como múltipla escolha ou resposta curta exata.
- Pontuação
- A métrica é a acurácia (accuracy): a porcentagem de questões que o modelo responde corretamente. Algumas versões também relatam uma medida de calibração (confiança) ao lado da acurácia.
- Verificação
- Cada questão tem uma resposta correta conhecida, e a resposta do modelo é avaliada automaticamente em relação a essa referência (a opção correta na múltipla escolha, uma resposta curta correspondente) — avaliação automática e objetiva, não por voto humano.
- Por que importa
- Os benchmarks usuais ficaram saturados (os melhores modelos chegam perto do teto), então o HLE busca ser um teste difícil e discriminante na fronteira do conhecimento especialista humano — um indicador relevante de quão longe a IA está do raciocínio em nível de especialista.
Exemplo resolvido
Tarefa
Os beija-flores (ordem Apodiformes) possuem, de forma única, um osso sesamoide (sesamoid) oval e bilateralmente pareado, embutido na parte caudolateral da aponeurose (aponeurosis) cruciforme expandida de inserção do m. depressor caudae. Quantos tendões pareados esse osso sesamoide sustenta? Responda com um único número inteiro.
Solução
4
Explicação
O osso sesamoide oval se forma dentro da aponeurose cruciforme do músculo depressor da cauda e sustenta quatro tendões pareados dessa inserção — uma ossificação especializada exclusiva da anatomia caudal dos beija-flores. O HLE avalia a resposta pela correspondência exata do número inteiro enviado com a resposta de referência (4) e solicita separadamente uma confiança para calibração.