Um estudo que auditou seis benchmarks de física amplamente utilizados descobriu que as pontuações baixas relatadas para modelos de linguagem de fronteira devem-se principalmente a erros de benchmarking, e não a deficiências dos modelos. Especialistas revisaram os enunciados dos problemas, as soluções de referência e as respostas dos modelos, distinguindo erros genuínos de erros do avaliador, referências incorretas e perguntas ambíguas.
- A média@4 do GPT-5.6-Sol no HLE-Physics subiu de 47,3% para 78,7% após a correção.
- Sua pontuação no CMT-Benchmark aumentou de 61,0% para 87,2% após a revisão por especialistas.
- O modelo alcançou um pass@4 corrigido de 94,4% nos 54 desafios CritPt retidos.
- As pontuações no UGPhysics, PRISM-Physics e PHYBench também aumentaram substancialmente após a auditoria.
Os resultados indicam que os benchmarks atuais subestimam significativamente a capacidade dos modelos de fronteira de resolver problemas de física bem formulados, destacando a necessidade de avaliações mais exigentes e validadas por especialistas.