तीन परिवारों में 17 मॉडल का एक अध्ययन बताता है कि संरेखित भाषा मॉडल अक्सर मध्य-परतों (25-90% गहराई) में गलत जवाबों के लिए अस्थायी रूप से प्रतिबद्ध होते हैं, जिसके बाद देरी-परत तंत्र द्वारा सुधार होता है। यह "गलत-डिप" सक्रियण प्रत्यारोपण के माध्यम से कारणसंबंधी रूप में सत्यापित होता है और संरेखण रेसिपी और मॉडल स्केल के आधार पर काफी भिन्न होता है।
- कारणसंबंधी गलत-डिप विस्तार रेसिपी-विशिष्ट है, Qwen2.5 में 32B पर शीर्ष पर होता है और Llama-3-8B में उलट जाता है।
- उच्च-डिप आइटम देरी-परत निम्न-रैंक संपीड़न या प्रूनिंग के तहत विफल होने की 3-7 गुना अधिक संभावना रखते हैं, जबकि क्वांटीकरण के प्रति मजबूत रहते हैं।
- एक मध्य-परत गलत-मार्जिन पेनल्टी के साथ LoRA फाइन-ट्यून कारणसंबंधी डिप को 67-70% तक कम करता है, सटीकता को त्यागे बिना।
- केवल आउटपुट SFT पूर्ण सतह सटीकता पर भी कारणसंबंधी डिप को 2.8x तक खराब कर देता है।
- घटना प्राकृतिक-भाषा I/O में बनी रहती है, भंगुरता को एक डिप-ऑडिटेबल लेट-रेस्क्यू परत और एक डिप-ब्लाइंड इंटरफेस परत में अलग कर देती है।
लेखकों का निष्कर्ष है कि आउटपुट-स्तर की सहीता एक लेट-रेस्क्यू प्रक्रिया को छिपा सकती है जो संपीड़न जोखिम, पोस्ट-प्रशिक्षण गुणवत्ता और मूल्यांकन विकृति को नियंत्रित करती है।