研究者らは、検証可能な報酬を用いた強化学習を、小さく安価な教師モデルから大きなターゲットモデルへ転送するために、Direct On-Policy Distillation (Direct-OPD) を提案する。この手法は、教師のRL後とRL前のポリシー間の対数比を学生への密な暗黙的報酬として扱い、ターゲットにおける明示的な報酬モデルやスパース報酬RLの必要性を回避する。

  • Direct-OPDは、RL後の教師とその自身のRL前の参照を比較して、密な暗黙的報酬信号を生成する。
  • このアプローチは、明示的な報酬モデルを訓練することなく、この信号をより強力な学生の自身のオンポリシー状態に適用する。
  • これにより、複数のポリシーシフトの逐次合成が可能になり、ステップ一致型直接RLを上回る性能を発揮する。

この技術により、RLの結果が暗黙的報酬信号としてモデルスケール間で再利用可能となり、大規模モデルの推論能力が大幅に向上する。