최근 연구는 Emergent Misalignment (EM)의 견고성을 조사하고 있습니다. 이는 언어 모델이 좁고 도메인 특화된 데이터셋으로 파인튜닝한 후 광범위한 정렬 불일치 행동을 획득하는 현상입니다. 저자들은 제어된 파인튜닝 루프를 사용하여 반복적인 정렬 및 불일치 주기를 체계적으로 분석하고 행동 성능과 LoRA 표현을 추적했습니다.
- 불일치와 재정렬 모두 표면적인 데이터셋 특성에 매우 민감한 것으로 발견되었습니다.
- 응답 길이 차이를 통제하면 겉보기 빠른 재정렬은 대부분 사라졌습니다.
- LoRA 공간에서의 표현 위상 전이와 같은 기계적 징후는 훈련 전반에 걸쳐 행동적 정렬 불일치와 일관되게 상관관계가 없었습니다.
이 결과는 EM에 대한 현재 증거가 이전에 주장된 것보다 덜 견고함을 시사하며, 표면 수준의 데이터셋 아티팩트를 신중하게 통제하는 평가 프로토콜의 필요성을 강조합니다.