كشفت دراسة شملت 17 نموذجاً عبر ثلاث عائلات، أن النماذج اللغوية المُحاذاة غالباً ما تلتزم مؤقتاً بإجابات خاطئة في الطبقات الوسطى (بعمق يتراوح بين 25-90%) قبل أن تُصححها آليات الطبقات المتأخرة. وقد تم التحقق من هذه "الانخفاض الخاطئ" سببياً عبر زرع التنشيط، وتختلف بشكل كبير بناءً على وصفات المحاذاة وحجم النموذج.
- تضخيم الانخفاض الخاطئ السببي خاص بوصفة المحاذاة، ويبلغ ذروته عند 32B في Qwen2.5 وينعكس في Llama-3-8B.
- العناصر ذات الانخفاض العالي تكون أكثر عرضة للفشل بنسبة 3-7 مرات تحت ضغط الضغط منخفض الرتبة أو التقليم في الطبقات المتأخرة، بينما تظل قوية أمام التكميم.
- يقلل ضبط LoRA الدقيق مع عقوبة هامش الخطأ في الطبقة الوسطى من الانخفاض السببي بنسبة 67-70% دون المساس بالدقة.
- يؤدي التدريب الخاضع للإشراف على المخرجات فقط إلى تفاقم الانخفاض السببي بنسبة تصل إلى 2.8 مرة حتى عند الدقة السطحية المثالية.
- تستمر هذه الظاهرة في المدخلات والمخرجات باللغة الطبيعية، مما يفصل الهشاشة إلى طبقة إنقاذ متأخرة قابلة للتدقيق حول الانخفاض وطبقة واجهة عمياء تجاهه.
يخلص المؤلفون إلى أن صحة مستوى المخرجات يمكن أن تخفي عملية إنقاذ متأخرة تحكم في خطر الضغط وجودة ما بعد التدريب وتشويه التقييم.