يقدم الباحثون مجموعة بيانات ThReadMed-QA، وهي مجموعة حوار طبي متعدد الأدوار تتكون من 2,437 سلسلة محادثة مستمدة من AskDocs، لتقييم ما إذا كانت نماذج اللغات الكبيرة (LLM) يمكنها اكتشاف وتصحيح المفاهيم الخاطئة للمرضى بشكل موثوق مع مرور الوقت. تسلط الدراسة الضوء على أن أطر التقييم الحالية تفشل في التقاط كيفية استمرار المعتقدات الخاطئة أو تطورها عبر أدوار تفاعلية متعددة.

  • تتكون ThReadMed-QA من 8,204 زوجًا من الأسئلة والأجوبة مصممة للتقييم المنهجي لتصحيح المفاهيم الخاطئة في سياقات متعددة الأدوار.
  • تم تقييم خمسة نماذج LLM باستخدام إطار عمل LLM-as-a-Judge القائم على معايير التقييم، الذي يقيس قدرتها على تحديد وتصحيح المعتقدات الخاطئة.
  • تصحح GPT-5 وClaude-Haiku المفاهيم الخاطئة بنسبة حوالي 85% في الأسئلة الأولية، لكنها تنخفض إلى حوالي 50% خلال جولتين تاليتين.
  • أظهر تحليل الأوراكل الذي يستبدل مخرجات النموذج السابقة بإجابات الأطباء أن انتشار الأخطاء هو السبب الرئيسي لتدهور الأداء.

تشير النتائج إلى أن حتى النماذج المتطورة تتدهور بشكل كبير في الأدوار اللاحقة، مما يؤدي إلى إرشادات غير متسقة وخطيرة محتملة في الإعدادات الموجهة للمرضى.