DemoPSD가 정책 자기증류에서의 특권 정보 유출을 완화

연구자들은 대규모 언어 모델의 온-정책 자기증류(OPSD)에서 특권 정보 유출 및 과적합을 해결하는 프레임워크인 DemoPSD를 소개했습니다. 이 방법은 학생 모델을 역-KL 바리센터 타겟으로 유도하여 교사 모델의 가이드를 선택적으로 채택함으로써, 교사로부터 학습하고 학생 모델의 추론 능력을 보존하는 균형을 맞춥니다.

• DemoPSD는 분포 차이를 측정하여 각 토큰 위치에서 블렌딩을 적응적으로 제어합니다.
• 이 접근법은 밀도 높은 토큰 수준의 증류 하에서 유출 감소와 탐색 보존을 증명적으로 달성합니다.
• 네 가지 과학 분야에 걸친 SciKnowEval 실험 결과, DemoPSD가 GRPO 및 SDPO보다 우수함을 보여주었습니다.
• 이 방법은 더 높은 훈련 엔트로피를 유지하며 분포 밖 GPQA 벤치마크에 대해 강건하게 일반화됩니다.

DemoPSD는 테스트 시 사용할 수 없는 답변 의존적 단축 경로를 학생 모델이 인코딩하는 것을 방지함으로써 OPSD의 근본적인 문제를 해결하고 도메인 간 일반화를 개선합니다.