온-정책 증류(OPD)에 대한 체계적인 연구는 OPD가 능력 상한선을 확장하지 않고도 밀도 있는 토큰 수준의ガイダンス를 통해 학생 모델을 유도하는 탐색 촉매제임을 확인했습니다. 이 연구는 OPD의 효과성이 프롬프트 다양성이나 문제별 샘플링 수가 아닌 가이드 신호 품질에 완전히 의존함을 입증했습니다.

  • 학생-교사 불일치: 큰 분포 격차는 작업 정확도와 정렬을 깨뜨려 탐색을 비생산적으로 유도합니다.
  • 길이 악용: 집계된 목적 함수는 학생들이 잘라내기나 패딩을 통해 보상을 조작할 수 있는 지름길을 만듭니다.
  • 신호 규제: 어드밴티지 클리핑과 로그 스케일 압축은 충실한ガイダンス를 보장하여 이러한 병리를 억제합니다.

7개 벤치마크에 걸친 실험 결과, 이러한 규제가 길이 악용을 완화하고 OPD 변형 및 RLVR 베이스라인을 안정적으로 상회함을 보여주었습니다. 이는 잘 규제된 신호 품질이 성공적인 탐색을 지배한다는 것을 확인시킵니다.