शोधकर्ताओं ने TrapQA पेश किया, एक डायग्नोस्टिक टेस्टबेड जिसे इस बात की जांच करने के लिए डिज़ाइन किया गया है कि बड़े भाषा मॉडल प्रॉम्प्ट बाधाओं का उल्लंघन करने वाले हैश्टेटेड जवाब क्यों उत्पन्न करते हैं। अध्ययन इस मुद्दे को "इनफरेंस माइसैलाइनमेंट" के रूप में फ्रेम करता है, जहाँ सांख्यिकीय रूप से सलियंट लैटेंट एसोसिएशन प्रीट्रेनिंग के दौरान स्थापित बाधा-संवेदनशील तर्क मार्गों को ओवरराइड कर देते हैं।
- फ्रेमवर्क एक लैटेंट की-टास्क मॉडल का उपयोग करता है यह दिखाने के लिए कि प्रीट्रेनिंग-फ्रीक्वेंसी असंतुलन शॉर्टकट मार्गों को हावी कैसे कर सकता है, जिससे पॉजिटिव इनफरेंस लॉस उत्पन्न होता है।
- TrapQA में ScientistQA शामिल है, जो तथ्यात्मक प्रोब का उपयोग करके समान वैज्ञानिकों के बीच एंटिटी डिस्अम्बिगुएशन का परीक्षण करता है, और Real-Life Constrained QA, जो सलियंट शॉर्टकट्स के तहत दैनिक बाधाओं का पालन करने का मूल्यांकन करता है।
- परिणाम संकेत देते हैं कि हैश्टेशन अक्सर बायस्ड लैटेंट इनफरेंस से उत्पन्न होते हैं, न कि केवल ज्ञान की कमी से।
निष्कर्ष सुझाव देते हैं कि प्रॉम्प्ट-सपोर्टेड जवाबों और पसंदीदा लैटेंट एसोसिएशन के बीच असंगति को दूर करना भाषा मॉडल में हैश्टेशन कम करने के लिए महत्वपूर्ण है।