对在线策略蒸馏(OPD)的系统性研究将其确定为一种探索催化剂,它通过密集的标记级指导引导学生,而不扩大能力上限。研究证实,OPD 的有效性完全依赖于引导信号的质量,而不是提示的多样性或每个问题的采样数量。

  • 学生-教师不匹配:大的分布差距导致与任务正确性的不对齐,使探索适得其反。
  • 长度利用:聚合目标创建了捷径,允许学生通过截断或填充来操纵奖励。
  • 信号调节:优势裁剪和对数尺度压缩通过确保忠实的指导来控制这些病理现象。

在七个基准上的实验表明,这些调节减轻了长度利用,并稳定地超越了 OPD 变体和 RLVR 基线,证实了良好调节的信号质量控制了成功的探索。