Um estudo de 17 modelos em três famílias revela que modelos de linguagem alinhados frequentemente se comprometem temporariamente com respostas incorretas nas camadas intermediárias (25-90% de profundidade) antes de serem corrigidos por mecanismos de camadas tardias. Essa "queda errada" é verificada causalmente através do transplante de ativação e varia significativamente com base nas receitas de alinhamento e na escala do modelo.
- A amplificação causal da queda errada é específica da receita, atingindo o pico em 32B no Qwen2.5 e revertendo no Llama-3-8B.
- Itens de alta queda têm 3-7 vezes mais probabilidade de falhar sob compressão de baixo posto ou poda tardia, enquanto permanecem robustos à quantização.
- Um ajuste fino LoRA com penalidade de margem errada na camada intermediária corta a queda causal em 67-70% sem sacrificar a precisão.
- SFT apenas de saída piora a queda causal em até 2.8x mesmo com precisão superficial perfeita.
- O fenômeno persiste em I/O de linguagem natural, separando a fragilidade em uma camada de resgate tardio auditável da queda e uma camada de interface cega à queda.
Os autores concluem que a correção no nível de saída pode esconder um processo de resgate tardio que governa o risco de compressão, a qualidade pós-treinamento e a distorção de avaliação.