Direct-OPD는 약한 모델에서 강한 모델로의 RL 이점을 증류하여 더 강력한 모델을 만듭니다

연구자들은 검증 가능한 보상(reward)을 사용한 강화 학습을 작고 저렴한 교사 모델에서 큰 대상 모델로 전달하기 위해 Direct On-Policy Distillation (Direct-OPD)을 제안합니다. 이 방법은 교사의 RL 후와 RL 전 정책 간의 로그 비율을 학생에 대한 밀집된 암시적 보상으로 간주하여, 대상에서의 명시적 보상 모델이나 희소 보상 RL의 필요성을 피합니다.

• Direct-OPD은 RL 후 교사 모델을 자체 RL 전 참조 모델과 비교하여 밀집된 암시적 보상 신호를 생성합니다.
• 이 접근 방식은 명시적 보상 모델을 훈련하지 않고 이 신호를 더 강력한 학생의 자체 온-정책 상태에 적용합니다.
• 이를 통해 여러 정책 변화(policy shifts)의 순차적 합성이 가능해지며, 단계 일치 직접 RL보다 우수한 성능을 보입니다.

이 기술은 RL 결과를 암시적 보상 신호로 모델 스케일 간에 재사용할 수 있게 하여, 더 큰 모델의 추론 능력을 크게 향상시킵니다.