Une étude portant sur 17 modèles appartenant à trois familles révèle que les modèles de langage alignés s'engagent souvent de manière transitoire dans des réponses incorrectes au niveau des couches intermédiaires (profondeur de 25 à 90 %) avant d'être corrigés par des mécanismes de couches tardives. Ce « creux erroné » est vérifié causalement par transplantation d'activations et varie considérablement selon les recettes d'alignement et l'échelle du modèle.
- L'amplification causale du creux erroné est spécifique à la recette, atteignant un pic à 32B dans Qwen2.5 et s'inversant dans Llama-3-8B.
- Les éléments présentant un creux élevé ont 3 à 7 fois plus de risques d'échouer lors d'une compression basse-rang ou d'un élagage des couches tardives, tout en restant robustes face à la quantification.
- Un ajustement fin LoRA avec une pénalité de marge erronée aux couches intermédiaires réduit le creux causal de 67 à 70 % sans sacrifier la précision.
- Le SFT uniquement sur les sorties aggrave le creux causal jusqu'à 2,8 fois même en cas de précision superficielle parfaite.
- Le phénomène persiste dans les entrées/sorties en langage naturel, séparant la fragilité en une couche de sauvetage tardif auditable pour le creux et une couche d'interface aveugle au creux.
Les auteurs concluent que la correction au niveau des sorties peut masquer un processus de sauvetage tardif qui régit le risque de compression, la qualité post-entraînement et la distorsion de l'évaluation.