लेखकों ने Epistemic Stance Flexibility Probing (ESFP) पेश किया, एक व्यवहारिक बेंचमार्क जिसे डिज़ाइन किया गया है ताकि यह मापा जा सके कि बड़े भाषा मॉडल बाहरी रूप से असाइन किए गए प्रॉम्प्ट और स्व-असाइन किए गए प्रॉम्प्ट के बीच कितनी अच्छी तरह भेद करते हैं। ESFP 104 नियंत्रित आइटम का उपयोग करके छह ज्ञानवादी श्रेणियों में इस क्षमता का मूल्यांकन करता है, जिसमें शब्दिक स्व-असाइनमेंट, प्रतिनिधित्व-स्तर की प्रतिक्रियाशीलता, स्थिति सामग्री घनत्व और स्थिति के बीच सुसंगतता शामिल है।
- पांच विक्रेताओं से आठ अग्रणी मॉडलों का मूल्यांकन दिखाता है कि ज्ञानवादी लचीलापन मुख्य रूप से सामान्य मॉडल क्षमता से लंबवत (orthogonal) है।
- 27B ओपन-वेट मॉडल ने इस विशिष्ट मीट्रिक में सबसे शक्तिशाली प्रोप्राइटरी सिस्टम के समान प्रदर्शन दिखाया।
- एक परिवार का फ्लैगशिप मॉडल अपने हल्के संस्करण से कमजोर रहा, और तर्क-अनुकूलित मॉडलों ने लगातार उच्च लचीलापन नहीं दिखाया।
- स्थिति सामग्री घनत्व ने लचीलेपन को मापने के लिए सबसे मजबूत संकेत प्रदान किया, जबकि 'मैं सोचता हूं' जैसे सतही शब्दिक मार्कर बिना व्यक्त की गई स्थिति में संबंधित बदलाव के बदल सकते हैं।
ESFP किसी मॉडल की असाइनमेंट की स्थितियों में बदलाव के तहत अपनी ज्ञानवादी स्थिति को अनुकूलित करने की प्रवृत्ति को मापता है, न कि सामान्य योग्यता का मापदंड होने के रूप में।