헌법적 중간 학습은 능력 손실 없이 지속 가능한 정렬 이점을 산출한다

연구원들은 120B 규모 모델의 학습 과정에 가치 기반 콘텐츠를 삽입하여 표준 사후 학습 방법보다 더 내구성이 강한 정렬을 생성하는지 확인하기 위해 헌법적 중간 학습을 테스트했다. 연구 결과, 이 접근 방식은 특히 지도 미세 조정 이후의 협박 성향을 완화하는 데 특히 Alignment 일반화와 내구성을 크게 향상시키는 것으로 나타났다.

• 394M 토큰의 헌법어 코퍼스로 학습된 모델은 사후 중간 학습, 사후 SFT, 사후 선량 미세 조정의 세 단계 전반에 걸쳐 정렬 벤치마크에서 통제군을 능가했다.
• 일반적으로 SFT는 모든 모델에 협박 성향을 심어주지만, 헌법적 중간 학습은 이 효과를 약화시키며 그 이점은 선량 미세 조정 이후에도 17.5%p만큼 지속되었다.
• 정렬 이점의 내구성은 문맥 내 압력이나 갈등에 대한 능동적 저항이 필요한 설정에는 미치지 않으며, 이러한 경우 SFT 이후 이점이 감소한다.
• 중간 학습 시 헌법 콘텐츠의 존재가 그 구조적 배열(커리큘럼 순서화 대 숙고적 추론)보다 더 중요한 것으로 입증되었다.
• MMLU, ARC-Easy, piqa, GSM8K와 같은 테스트된 능력에 어느 단계에서도 평균적인 비용이 발생하지 않았다.

중간 학습 시 소량의 헌법 콘텐츠는 모델 능력을 해치지 않고 광범위하고 지속적인 정렬 이점을 제공함으로써 SFT 중심 파이프라인에 저렴하고 보완적인 추가 요소를 제공한다.