研究人员推出了ThReadMed-QA，这是一个包含2,437个对话线程的多轮医疗对话数据集，源自AskDocs，旨在评估大型语言模型能否可靠地检测和纠正患者随时间产生的误解。该研究强调，当前的评估框架未能捕捉虚假信念如何在多个交互回合中持续或演变。

  • ThReadMed-QA包含8,204对问答对，旨在系统评估多轮语境下的误解纠正能力。
  • 使用基于量表的LLM-as-a-Judge框架评估了五个LLM识别和纠正错误信念的能力。
  • GPT-5和Claude-Haiku在初始问题上纠正误解的比例约为85%，但在两次后续跟进后降至约50%。
  • 一项将模型先前输出替换为医生回答的预言分析显示，错误传播是导致性能下降的主要原因。

研究结果表明，即使是前沿模型在后续回合中也会显著退化，导致面向患者的场景中提供不一致且潜在不安全的指导。