Исследование 17 моделей из трех семейств показывает, что выровненные языковые модели часто временно принимают неверные ответы в средних слоях (25-90% глубины), прежде чем быть исправленными механизмами поздних слоев. Этот «провал ошибок» причинно подтвержден через трансплантацию активаций и значительно варьируется в зависимости от рецептов выравнивания и масштаба модели.
- Усиление причинного провала специфично для рецепта, достигая пика при 32B в Qwen2.5 и обращаясь вспять в Llama-3-8B.
- Элементы с высоким провалом в 3-7 раз чаще терпят неудачу при низкоранговой компрессии или прунинге поздних слоев, оставаясь устойчивыми к квантованию.
- Тонкая настройка LoRA с штрафом за неправильную маржу в среднем слое сокращает причинный провал на 67-70% без ущерба для точности.
- SFT только по выходу ухудшает причинный провал до 2.8x даже при идеальной поверхностной точности.
- Явление сохраняется в естественном языке I/O, разделяя хрупкость на слой позднего спасения с аудитом провала и слои интерфейса без учета провала.
Авторы приходят к выводу, что правильность на уровне вывода может скрывать процесс позднего спасения, который управляет риском компрессии, качеством после обучения и искажением оценки.