DemoPSD缓解策略自蒸馏中的特权信息泄露

研究人员推出了 DemoPSD，这是一个用于在线策略自蒸馏的框架，通过选择性采用教师指导来解决特权信息泄露和过拟合问题。该方法将学生模型引导至反向 KL 重心目标，在从教师学习与学生保留推理能力之间取得平衡。

• DemoPSD 利用分布差异在每个 token 位置自适应地控制混合程度。
• 理论证明其在密集 token 级蒸馏下可实现泄露衰减并保留探索能力。
• SciKnowEval 上的实验表明，它在四个科学领域均优于 GRPO 和 SDPO。
• 该方法保持更高的训练熵，并能稳健地泛化到分布外 GPQA 基准测试。

DemoPSD 有效缓解了标准师生自蒸馏中固有的探索抑制和跨领域泛化问题。