تظهر دراسة خاضعة للتحكم أنه بينما تبدو نماذج اللغة الكبيرة المتطورة قوية على المستوى الإجمالي تجاه السياق غير ذي الصلة بالمهمة، فإن هذا الاستقرار يخفي عدم استقرار كبير لكل مثال. يؤدي إلحاق كلمات زائفة عديمة المعنى بالدلالات بأسئلة الاختبار المعياري إلى تحولات ملحوظة في تنبؤات النموذج على جزء صغير من الأمثلة.
- يؤثر هذا التأثير ذو الاتجاهين سلباً على أداء بعض الأمثلة بينما يحسنه في أمثلة أخرى، ويظل متسقاً عبر مجموعة واسعة من النماذج ومجموعات البيانات.
- الأمثلة المتأثرة خاصة بالنموذج إلى حد كبير، ويتم تعديل عدم الاستقرار بواسطة نوع السياق، وطول السياق، والحوسبة أثناء الاختبار، ومرحلة تطوير النموذج.
تكشف هذه النتائج عن مخاطر الذيل الناتجة عن السياق والمخفية وراء الدقة الإجمالية، مما يحفز تقييم موثوقية النماذج اللغوية لكل مثال على حدة.