Os autores apresentam o CLExEval, um framework com humano no loop projetado para avaliar o raciocínio clínico de Modelos de Linguagem Grande (LLM) sob mascaramento progressivo de informações. O estudo combina 5.600 anotações de médicos especialistas com 200 rastros de raciocínio clínico derivados de 40 casos diagnósticos raros para expor ilusões de avaliação onde explicações fluentes mascaram diagnósticos incorretos.
- A precisão diagnóstica do GPT-4o-mini cai de 95,0% para 32,5% sob escassez de informação, demonstrando um viés de verbosidade.
- Um modelo especialista atinge um potencial diagnóstico máximo de 92,5%, mas falha em recuperar esse conhecimento de forma confiável em contextos verbosos.
- Há uma discrepância de raciocínio para saída de 68,6% onde diagnósticos corretos aparecem nos rastros mas não são refletidos nas respostas finais.
- O GPT-4o-mini aprovou 47,9% das saídas clinicamente incorretas em um conjunto de falhas verificadas por humanos, enquanto o HuatuoGPT-o1 mostrou uma tendência positiva de auto-preferência.
Os resultados sugerem que avaliações clínicas automatizadas independentes podem superestimar substancialmente a confiabilidade clínica sem validação baseada em especialistas.