DemoPSDはポリシー自己蒸留における特権情報漏洩を緩和する

研究者らは、DemoPSDを導入した。これはオンポリシー自己蒸留のフレームワークであり、教師のガイダンスを選択的に採用することで、特権情報の漏洩と過学習を解決する。この手法は、学生モデルを逆KLバリセンターターゲットへ誘導し、教師からの学習と学生モデルの推論能力の保持とのバランスを取る。

• DemoPSDは分布乖離を用いて、各トークン位置でのブレンドを適応的に制御する。
• 密なトークンレベル蒸留の下で、漏洩の減衰と探索の維持を理論的に達成する。
• SciKnowEval上での実験では、4つの科学分野においてGRPOやSDPOを上回ることを示した。
• このアプローチはより高いトレーニングエントロピーを維持し、分布外GPQAベンチマークに対して堅牢に汎化する。

DemoPSDは、標準的な教師-学生自己蒸留に内在する探索の抑制やドメイン間汎化の問題を効果的に緩和する。