연구자들은 AskDocs에서 유래한 2,437개의 대화 스레드로 구성된 다중 턴 의료 대화 데이터셋인 ThReadMed-QA를 도입하여 대규모 언어 모델(LLM)이 시간이 지남에 따라 환자의 오개념을 신뢰할 수 있게 감지하고 교정할 수 있는지 평가했습니다. 이 연구는 현재 평가 프레임워크가 잘못된 신념이 여러 상호작용 턴에 걸쳐 어떻게 지속되거나 진화하는지를 포착하지 못한다는 점을 강조합니다.

  • ThReadMed-QA는 다중 턴 문맥에서 오개념 교정의 체계적 평가를 위해 설계된 8,204개의 질문-답변 쌍으로 구성됩니다.
  • 5개의 LLM이 잘못된 신념을 식별하고 교정하는 능력을 채점하는 루브리크 기반 LLM-as-a-Judge 프레임워크를 사용하여 평가되었습니다.
  • GPT-5와 Claude-Haiku는 초기 질문에서 약 85%의 오개념 교정률을 보였으나, 두 번의 후속 질문 후에는 약 50%로 떨어졌습니다.
  • 이전 모델 출력을 의사의 응답으로 대체하는 오라클 분석은 오류 전파가 성능 저하의 주요 원인임을 보여주었습니다.

이러한 발견은 최전선 모델조차도 이후 턴에서 상당하게 저하되어 환자 대상 환경에서 일관성 없고 잠재적으로 위험한 지침을 초래함을 나타냅니다.