يكشف دراسة أن النماذج اللغوية الكبيرة تحافظ على تقدير داخلي لطول الاستجابة المتبقي، والذي يمكن فك تشفيره من الحالات المخفية المجمدة. قام الباحثون بتدريب مسبارات خطية ذات سعة دنيا على ثلاثة نماذج مفتوحة الأوزان بحجم 7-8 مليار عبر سبع مجموعات بيانات بأسلوب الإكمال لاستقصاء هذه الظاهرة.
- يمكن فك تشفير طول الاستجابة الكلي خطياً من آخر حالة مخفية للمُدخل قبل توليد أي إخراج.
- تنتقل اتجاهات المسبار بشكل واسع إلى الإكمالات الاصطناعية الخاضعة للتحكم، متفوقة على الأساسيات الإحصائية.
- في الإكمالات ذات الخسارة العالية، ينزاح تقدير المسبار للأعلى عندما يتراجع النموذج ويعيد بدء الحل.
تشير النتائج إلى أن النماذج اللغوية الكبيرة تحافظ على تمثيل داخلي شبيه بالخطة لطول الإخراج، وهو ما يختلف عن نتائج استحالة العد الدقيق لمعماريات المحوّل (transformers).