लेख "भ्रामक ग्राउंडिंग" (DG) का परिचय देता है, जो एक विफलता मोड है क्लिनिकल रीट्रीवल-एग्जेंप्टेड जनरेशन में जहां मॉडल के दावे रीट्रीव्ड दस्तावेज़ों में तथ्यात्मक रूप से ग्राउंडेड होते हैं लेकिन गलत एंटिटी को अट्रिब्यूट किए जाते हैं। यह मुद्ला मान्यता, हैलुसिनेशन और सिटेशन चेक जैसे मानक तरीकों से अदृश्य रहता है क्योंकि हर दावा एक वास्तविक दस्तावेज़ से स्रोतित होता है।
- 13 मॉडल्स पर नियंत्रित फैक्टोरियल बेंचमार्क ने शीर्ष विरोधाभासी स्थितियों में DG दरों को 8-87% के बीच पाया, जिसमें चिकित्सा फाइन-ट्यूंड मॉडल्स 86.7% तक पहुंचे।
- डोमेन विशेषज्ञता ने इस विफलता को कम करने के बजाय बढ़ावा दिया।
- एब्लेशन अध्ययनों ने पहचाना कि विशिष्ट चिकित्सा साक्ष्य हटाने से एंटिटी-अट्रिब्यूशन विफलता पूरी तरह समाप्त हो जाती है, और विफलताएं कन्फैबुलेशन की ओर बढ़ती हैं।
- 740 दवा-रोग जोड़ों पर उत्पादन माप में एक डिप्लॉयड RAG सिस्टम में कुल DG 7.8% पाया गया, जो हाल ही में मंजूरी प्राप्त दवाओं के लिए 13.6% तक बढ़ गया।
- एंटिटी-अट्रिब्यूशन सत्यापन DG को 97.0% प्रिसिजन और 98.7% रिकॉल पर पहचानता है, लेकिन कोई मौजूदा फ्रेमवर्क इसे लागू नहीं करता।
लेखक इसे महत्वपूर्ण मानते हैं क्योंकि वर्तमान मूल्यांकन फ्रेमवर्क्स एंटिटी अट्रिब्यूशन त्रुटियों को पहचानने में विफल रहते हैं, जो विशेषज्ञ मॉडल्स और उत्पादन सिस्टम में व्यापक रूप से पाई जाती हैं।