शोधकर्ताओं ने "स्टेल-डॉक्यूमेंट पॉइजनिंग" की पहचान की, जो रेट्रीवल-एम्बेडेड जनरेशन (RAG) में एक समयिक संरेखण विफलता है, जहां पुराना बाहरी प्रमाण मॉडलों को गलत उत्तर देने पर मजबूर करता है, भले ही वे बिना पुनर्प्राप्ति के सही उत्तर जानते हों।
- अध्ययन में चिकित्सा, कानून, सॉफ्टवेयर और प्लेटफ़ॉम नीति में 317 सत्यापित ज्ञान उलटने वाले मामलों का एक बेंचमार्क तैयार किया गया है।
- पुरानी पुनर्प्राप्ति ने Llama के 30% और Qwen के 37% उत्तरों को उलट दिया, भले ही दस्तावेज़ पर भरोसा करने के निर्देश न दिए गए हों।
- स्पष्ट अनुसरण निर्देशों ने Llama के लिए पॉइजनिंग दर को 66% और Qwen के लिए 75% तक बढ़ा दिया।
- चार ओपन मॉडल और डोमेन में पॉइजनिंग की सीमा 17-91% है, जबकि ताज़ा प्रमाण का अनुसरण 97-100% परीक्षणों में किया गया।
- एक स्थिर रिसेंसी-अवेयर हाइब्रिड री-रैंकर ने तारीखों के सटीक होने पर पॉइजनिंग को 4.6-10.0 अंक तक कम कर दिया।
यह निष्कर्ष बताते हैं कि विश्वसनीय RAG के लिए चयनात्मक भरोसे की आवश्यकता है, जहां मॉडलों को यह निर्धारित करना होगा कि पुनर्प्राप्त प्रमाण क्या कहता है और क्या वह अभी भी लागू होता है।