研究者らは、大規模言語モデルのオンポリシー自己蒸留（OPSD）における特権情報漏洩と過学習に対処するフレームワークであるDemoPSDを紹介した。この手法は、教師からのガイダンスを選択的に採用し、学生モデルを逆KLバリセンターターゲットへ誘導することで、教師からの学習と学生モデルの推論能力の維持のバランスを取る。

  • DemoPSDは分布の違いを測定し、各トークン位置でのブレンドを適応的に制御する。
  • このアプローチは、密なトークンレベル蒸留の下で漏洩の減衰と探索の維持を証明付きで達成する。
  • 4つの科学分野にわたるSciKnowEvalでの実験により、DemoPSDがGRPOおよびSDPOを上回ることを示した。
  • この手法はより高いトレーニングエントロピーを維持し、分布外GPQAベンチマークに対して堅牢に汎化する。

DemoPSDは、テスト時に利用できない回答依存のショートカットを学生モデルがエンコードすることを防ぐことで、OPSDの根本的な問題を解決し、ドメイン横断的な汎化性能を向上させる。