एक नियंत्रित अध्ययन पाता है कि जबकि अत्याधुनिक बड़े भाषा मॉडल संचयी स्तर पर कार्य-असंबंधी संदर्भ के प्रति मजबूत प्रतीत होते हैं, यह स्थिरता प्रति-उदाहरण महत्वपूर्ण अस्थिरता को छिपाती है। मानक प्रश्नों से पहले अर्थहीन काल्पनिक शब्द जोड़ने से छोटे हिस्से के उदाहरणों पर मॉडल की भविष्यवाणियों में स्पष्ट बदलाव आते हैं।
- द्विपक्षीय प्रभाव कुछ उदाहरणों पर प्रदर्शन को कम करता है जबकि अन्य पर बेहतर बनाता है, यह कई मॉडलों और डेटासेट्स के बीच लगातार बना रहता है।
- प्रभावित उदाहरण मुख्य रूप से मॉडल-विशिष्ट होते हैं और अस्थिरता संदर्भ प्रकार, संदर्भ की लंबाई, परीक्षण-समय कंप्यूटेशन और मॉडल विकास चरण द्वारा नियंत्रित होती है।
ये निष्कर्ष संचयी सटीकता द्वारा छिपे गए संदर्भ-जनित टेल रिस্ক को उजागर करते हैं, जो भाषा मॉडलों के प्रति-उदाहरण विश्वसनीयता मूल्यांकन को प्रेरित करते हैं।