研究者らは、AskDocs由来の2,437件の会話スレッドから作成されたマルチターン医療対話データセットであるThReadMed-QAを導入し、大規模言語モデル（LLM）が患者の誤概念を時間経過とともに信頼できる形で検出し修正できるかどうかを評価した。本研究は、現在の評価フレームワークが、誤った信念が複数の対話ターンにわたってどのように持続または変化するかを捉えられていないことを浮き彫りにしている。

  • ThReadMed-QAは、マルチターン文脈における誤概念修正の体系的な評価のために設計された8,204件の質問応答ペアで構成されている。
  • 5つのLLMが、誤った信念の特定と修正能力を採点するルーブリックベースの「LLM-as-a-Judge」フレームワークを使用して評価された。
  • GPT-5およびClaude-Haikuは初期の質問において約85%の誤概念修正率を示したが、2回のフォローアップ後には約50%に低下した。
  • 過去のモデル出力を医師の回答に置き換えるオラクル分析により、エラー伝播がパフォーマンス劣化の主要因であることが示された。

これらの知見は、最先端モデルでさえその後のターンにおいて大幅に性能が低下し、患者向け環境において一貫性のない、かつ潜在的に危険なガイダンスをもたらすことを示している。