शोधकर्ताओं ने ThReadMed-QA पेश किया, जो AskDocs से प्राप्त 2,437 बातचीत थ्रेड्स वाला एक बहु-चरण चिकित्सा संवाद डेटासेट है, यह मूल्यांकन करने के लिए कि क्या बड़े भाषा मॉडल समय के साथ रोगियों के भ्रमों को विश्वसनीय रूप से पहचान और सुधार सकते हैं। अध्ययन में उजागर किया गया है कि वर्तमान मूल्यांकन ढांचे यह नहीं पकड़ पाते हैं कि झूठे विश्वास कई इंटरैक्शन टर्न्स के दौरान कैसे बने रहते या विकसित होते हैं।
- ThReadMed-QA में बहु-चरण संदर्भों में भ्रम सुधार की व्यवस्थित मूल्यांकन के लिए डिज़ाइन किए गए 8,204 प्रश्न-उत्तर जोड़े शामिल हैं।
- पांच LLMs का मूल्यांकन एक रब्रिक-आधारित LLM-as-a-Judge ढांचे का उपयोग करके किया गया, जो झूठे विश्वासों की पहचान और सुधार की उनकी क्षमता को स्कोर करता है।
- GPT-5 और Claude-Haiku ने प्रारंभिक प्रश्नों पर भ्रमों को लगभग 85% पर सुधारा, लेकिन दो अनुवर्ती उत्तरों के भीतर यह लगभग 50% तक गिर गया।
- एक ऑरेकल विश्लेषण जिसने पूर्व मॉडल आउटपुट को चिकित्सक के उत्तरों से बदल दिया, ने दिखाया कि त्रुटि प्रसार प्रदर्शन में गिरावट का मुख्य कारण है।
निष्कर्ष संकेत करते हैं कि भले ही फ्रंटियर मॉडल बाद के टर्न्स में काफी कम हो जाते हैं, जिससे रोगी-मुखी सेटिंग्स में असंगत और संभावित रूप से असुरक्षित मार्गदर्शन का कारण बनता है।