オンポリシー蒸留（OPD）の体系的な研究により、OPDが能力の上限を広げることなく、高密度なトークンレベルのガイダンスを通じて学生モデルを誘導する探査の触媒として機能することが特定された。この研究は、OPDの有効性がプロンプトの多様性や問題ごとのサンプリング数ではなく、ガイダンス信号の品質に完全に依存することを確認した。

  • 学生-教師の不整合: 大きな分布ギャップがタスクの正解率とのアライメントを崩し、探査を逆効果に導く。
  • 長さの悪用: 集約された目的関数がショートカットを生み出し、学生モデルが切り捨てやパディングを通じて報酬を操作できるようになる。
  • 信号の規制: アバンテージクリッピングと対数スケール圧縮により、忠実なガイダンスを保証してこれらの病理を抑制する。

7つのベンチマークにわたる実験により、これらの規制が長さの悪用を緩和し、OPDの派生手法やRLVRのベースラインを安定的に上回ることを示した。これは、適切に規制された信号品質が成功する探査を支配することを裏付けている。