एक अध्ययन इस धारणा को चुनौती देता है कि प्रॉम्प्ट किए गए उत्तर मॉडल के मूल्यों को विश्वसनीय रूप से दर्शाते हैं, यह तुलना करके कि बड़े भाषा मॉडल वस्तुनिष्ठ बनाम विषयवादी क्वेरीज़ को कैसे संभालते हैं। शोधकर्ताओं ने तीन वस्तुनिष्ठ डेटासेट (MMLU, ARC, CulturalBench) और तीन विषयवादी डेटासेट (Political Compass Test, ValueBench, World Values Survey) पर चार निर्देश-सूक्ष्म मॉडल परिवारों का मूल्यांकन किया। प्रत्येक प्रश्न में विभिन्न प्रॉम्प्ट परिवर्तन लागू करके, उन्होंने मापा कि क्या मॉडल विकल्पों के बीच स्थिर उत्तर बनाए रखते हैं।
- द्विपद सामान्य अनुमान समीकरणों का उपयोग करके मॉडल, डेटासेट, प्रॉम्प्ट श्रेणी और उनके अंतःक्रियाओं के लिए महत्वपूर्ण प्रभाव पाए गए।
- डेटासेट प्रकार और प्रॉम्प्ट श्रेणी के बीच अंतःक्रिया विशेष रूप से बड़ी थी, जो संकेत देती है कि रॉबस्टनेस प्रश्न की प्रकृति के आधार पर काफी भिन्न होती है।
- परिणाम दर्शाते हैं कि प्रॉम्प्ट रॉबस्टनेस समान नहीं है, लेकिन विशिष्ट प्रश्न प्रकार, लागू किए गए प्रॉम्प्ट परिवर्तन के प्रकार और मॉडल वास्तुकला पर बहुत अधिक निर्भर करता है।
ये निष्कर्ष सुझाव देते हैं कि सर्वेक्षण-शैली के मूल्यांकन जो उत्तरों को राजनीतिक मूल्यों या सामाजिक रवैयों के सबूत के रूप में मानते हैं, नाजुक हैं, क्योंकि विभिन्न प्रकार के प्रश्नों के बीच स्थिरता की कल्पना नहीं की जा सकती।