세 가지 계열의 17개 모델을 대상으로 한 연구는 정렬된 언어 모델이 후기 레이어 메커니즘에 의해 수정되기 전, 중간 레이어(25-90% 깊이)에서 잘못된 답에 일시적으로 고정하는 경우가 많다는 것을 보여줍니다. 이 "잘못된 dip"는 활성화 이식을 통해 인과적으로 검증되었으며, 정렬 레시피와 모델 규모에 따라 크게 달라집니다.
- 인과적 wrong-dip 증폭은 레시피별이며, Qwen2.5에서 32B에서 최고조에 달하고 Llama-3-8B에서는 반전됩니다.
- 높은 dip를 가진 항목은 후기 레이어 저랭크 압축 또는 가지치기 하에서 실패할 가능성이 3-7배 더 높지만 양자화에는 강건합니다.
- 중간 레이어의 잘못된 마진 패널티가 있는 LoRA 파인튜닝은 정확도를 희생하지 않고 인과적 dip를 67-70% 줄입니다.
- 출력 전용 SFT는 완벽한 표면 정확도에서도 인과적 dip를 최대 2.8배 악화시킵니다.
- 이 현상은 자연어 I/O에서도 지속되며, 취약성을 dip 감사 가능한 후기 구조 레이어와 dip 비감각 인터페이스 레이어로 분리합니다.
저자들은 출력 수준의 정확성이 압축 위험, 사후 학습 품질 및 평가 왜곡을 지배하는 후기 구조 과정을 숨길 수 있다고 결론 내립니다.