Исследователи представляют ThReadMed-QA, набор данных для многооборотного медицинского диалога из 2437 бесед, полученных из AskDocs, чтобы оценить, могут ли большие языковые модели надежно выявлять и исправлять заблуждения пациентов с течением времени. В исследовании подчеркивается, что текущие системы оценки не способны уловить, как ложные убеждения сохраняются или эволюционируют на протяжении нескольких раундов взаимодействия.

  • ThReadMed-QA включает 8204 пары вопрос-ответ, предназначенные для систематической оценки исправления заблуждений в многооборотных контекстах.
  • Пять LLM были оценены с использованием системы LLM-as-a-Judge на основе рубрик, оценивающей их способность выявлять и исправлять ложные убеждения.
  • GPT-5 и Claude-Haiku исправляли заблуждения примерно в 85% случаев на начальных вопросах, но этот показатель падал до около 50% после двух последующих уточнений.
  • Анализ с использованием оракула, заменяющий предыдущие выводы модели ответами врачей, показал, что распространение ошибок является основной причиной деградации производительности.

Результаты указывают на то, что даже передовые модели существенно ухудшают свои показатели в последующих раундах, что приводит к непоследовательным и потенциально опасным рекомендациям в сценариях взаимодействия с пациентами.