연구자들은 DemoPSD를 도입했습니다. 이는 온-정책 자기증류 프레임워크로, 교사의 가이드를 선택적으로 채택하여 특권 정보 누출과 과적합을 해결합니다. 이 방법은 학생 모델을 역-KL 바리센터 타겟으로 유도하며, 교사로부터의 학습과 학생 모델의 추론 능력 보존 간 균형을 맞춥니다.

  • DemoPSD는 분산 불일치를 사용하여 각 토큰 위치에서의 블렌딩을 적응적으로 제어합니다.
  • 밀도 높은 토큰 수준 증류 하에서 누출 감소와 탐색 유지를 이론적으로 달성합니다.
  • SciKnowEval 실험 결과, 4개의 과학 분야에서 GRPO 및 SDPO보다 우수함을 보였습니다.
  • 이 접근 방식은 더 높은 학습 엔트로피를 유지하며 분포 밖 GPQA 벤치마크에 대해 강건하게 일반화합니다.

DemoPSD는 표준 교사-학생 자기증류에 내재된 탐색 억제 및 도메인 간 일반화 문제를 효과적으로 완화합니다.