Uma avaliação dos modelos o3 e o4-mini da OpenAI no Exame Final da Humanidade revela que seus erros de calibração são significativamente menores do que nas gerações anteriores, embora o3 não seja estatisticamente melhor do que uma linha de base aleatória. A análise indica que o3 exibe subconfiança generalizada em comparação com predecessores como o1, que tendem a prever alta confiança em diversas tarefas.
- No Exame Final da Humanidade, a distribuição de confiança do o3 é quase uniforme, resultando em um erro de calibração menor do que o de outros modelos que performam pior do que uma linha de base aleatória.
- As curvas de calibração mostram nenhuma correlação visual forte entre precisão e confiança para o3, sugerindo que sua média de confiança mais baixa em tarefas difíceis impulsiona a métrica em vez de uma autoconsciência precisa.
- No dataset saturado GSM8k, o3 permanece amplamente subconfiante enquanto o4-mini é melhor calibrado; no entanto, modificar o prompt para solicitar raciocínio para os escores de confiança reduz o erro de calibração do o3 de 24% para 9%.
As descobertas sugerem que, embora os novos modelos da OpenAI sejam melhor calibrados do que seus predecessores, eles têm dificuldade com a elicitação consistente de confiança, particularmente em tarefas fáceis onde permanecem subconfiantes.