लेखकों ने CLExEval पेश किया, जो एक मानव-इन-द लूप फ्रेमवर्क है जिसे प्रगतिशील जानकारी मस्क करने के तहत बड़े भाषा मॉडल (LLM) के नैदानिक तर्क का मूल्यांकन करने के लिए डिज़ाइन किया गया है। अध्ययन में 5,600 विशेषज्ञ-चिकित्सक टिप्पणियों को 40 दुर्लभ निदान मामलों से व्युत्पन्न 200 नैदानिक तर्क ट्रेस के साथ जोड़ा गया है ताकि मूल्यांकन भ्रमों को उजागर किया जा सके जहाँ प्रवाहमान व्याख्याएं गलत निदानों को छिपाती हैं।
- जानकारी की कमी के तहत GPT-4o-mini का नैदानिक सटीकता 95.0% से घटकर 32.5% हो जाता है, जो एक लंबाई पूर्वाग्रह को प्रदर्शित करता है।
- एक विशेषज्ञ मॉडल 92.5% अधिकतम नैदानिक क्षमता तक पहुंचता है लेकिन लंबे संदर्भों में उस ज्ञान को विश्वसनीय रूप से पुनः प्राप्त करने में विफल रहता है।
- 68.6% तर्क-से-आउटपुट असंगति है जहाँ सही निदान ट्रैस में दिखाई देते हैं लेकिन अंतिम उत्तरों में प्रतिबिंबित नहीं होते हैं।
- GPT-4o-mini ने मानव-सत्यापित विफलता सेट पर 47.9% नैदानिक रूप से गलत आउटपुट को मंजूरी दी, जबकि HuatuoGPT-o1 में सकारात्मक स्व-प्राथमिकता पूर्वाग्रह दिखा।
परिणाम सुझाव देते हैं कि अकेले स्वचालित नैदानिक मूल्यांकन विशेषज्ञ-आधारित सत्यापन के बिना नैदानिक विश्वसनीयता का काफी अतिमूल्यांकन कर सकते हैं।