Los autores presentan CLExEval, un marco con humano en el bucle diseñado para evaluar el razonamiento clínico de Modelos de Lenguaje Grande (LLM) bajo enmascaramiento progresivo de información. El estudio combina 5.600 anotaciones de médicos expertos con 200 trazas de razonamiento clínico derivadas de 40 casos diagnósticos raros para exponer ilusiones de evaluación donde explicaciones fluidas enmascaran diagnósticos incorrectos.
- La precisión diagnóstica de GPT-4o-mini cae del 95.0% al 32.5% bajo escasez de información, demostrando una tendencia a la verbosidad.
- Un modelo especialista alcanza un potencial diagnóstico máximo del 92.5%, pero falla en recuperar ese conocimiento de manera fiable en contextos verbosos.
- Existe una discrepancia entre el razonamiento y la salida del 68.6%, donde los diagnósticos correctos aparecen en las trazas pero no se reflejan en las respuestas finales.
- GPT-4o-mini aprobó el 47.9% de las salidas clínicamente incorrectas en un conjunto de fallos verificados por humanos, mientras que HuatuoGPT-o1 mostró una tendencia positiva al auto-preferencia.
Los resultados sugieren que las evaluaciones clínicas automatizadas independientes pueden sobreestimar sustancialmente la fiabilidad clínica sin validación basada en expertos.