Авторы представляют CLExEval, фреймворк с участием человека (human-in-the-loop), предназначенный для оценки клинического мышления больших языковых моделей (LLM) при прогрессивном маскировании информации. Исследование объединяет 5600 аннотаций экспертов-врачей и 200 трасс клинического мышления, полученных из 40 случаев редких диагнозов, чтобы выявить иллюзии оценки, где беглые объяснения маскируют неверные диагнозы.

  • Точность диагностики GPT-4o-mini падает с 95.0% до 32.5% в условиях дефицита информации, демонстрируя предвзятость к многословию.
  • Специализированная модель достигает максимального диагностического потенциала в 92.5%, но не способна надежно извлекать эти знания в контекстах с большим объемом текста.
  • Наблюдается рассогласование между рассуждением и выводом в 68.6% случаев: правильные диагнозы появляются в трассах, но не отражаются в финальных ответах.
  • GPT-4o-mini одобрил 47.9% клинически неверных выводов на наборе с ошибками, проверенными человеком, тогда как HuatuoGPT-o1 проявил предвзятость к положительному самопредпочтению.

Результаты указывают на то, что автономные автоматические клинические оценки могут существенно завышать клиническую надежность без валидации, основанной на экспертизе.