Direct-OPD 将弱到强的 RL 收益蒸馏至更强的模型

研究人员提出直接在线策略蒸馏（Direct-OPD），以将带有可验证奖励的强化学习从较小、较便宜的教师模型转移到较大的目标模型。该方法将教师的 post-RL 和 pre-RL 策略之间的 log-ratio 视为学生的密集隐式奖励，从而避免在目标模型上使用显式奖励模型或稀疏奖励 RL。

• Direct-OPD 将 post-RL 的教师与其自身的 pre-RL 参考进行比较，以创建密集的隐式奖励信号。
• 该方法将此信号应用于更强学生自身的 on-policy 状态，而无需训练显式奖励模型。
• 它支持多个策略偏移的序列组合，并优于 step-matched 直接 RL。

该技术允许将 RL 结果跨模型规模作为隐式奖励信号重用，显著提升了更大模型的推理能力。