저자들은 CLExEval을 소개합니다. 이는 점진적 정보 마스킹 하에서 대규모 언어 모델(LLM)의 임상 추론을 평가하도록 설계된 인간 참여 프레임워크입니다. 이 연구는 5,600건의 전문가 의사 주석과 40건의 희귀 진단 사례에서 유도된 200건의 임상 추론 트레이스를 결합하여, 유창한 설명이 잘못된 진단을 가리는 평가 환각을 드러냅니다.

  • GPT-4o-mini의 정보 부족 하 진단 정확도는 95.0%에서 32.5%로 떨어지며, 장황성 편향을 보여줍니다.
  • 전문 모델은 최대 92.5%의 진단 잠재력에 도달하지만, 장황한 문맥에서 해당 지식을 신뢰할 수 있게 검색하지 못합니다.
  • 추론과 출력 간에 68.6%의 불일치가 있으며, 올바른 진단이 트레이스에 나타나지만 최종 답변에는 반영되지 않습니다.
  • GPT-4o-mini는 인간 검증된 실패 세트에서 임상적으로 잘못된 출력의 47.9%를 승인했으며, HuatuoGPT-o1은 긍정적인 자기 선호 편향을 보였습니다.

결과들은 독립형 자동 임상 평가가 전문가 기반 검증 없이 임상 신뢰성을 상당히 과대평가할 수 있음을 시사합니다.