DemoPSD 缓解策略自蒸馏中的特权信息泄露

研究人员推出了 DemoPSD，这是一个解决大型语言模型在策略内自蒸馏（OPSD）中特权信息泄露和过拟合问题的框架。该方法通过引导学生朝向反向 KL 重心目标，选择性采纳教师指导，从而平衡从教师学习与保留学生推理能力。

• DemoPSD 测量分布差异以在每个 token 位置自适应地控制混合。
• 该方法在密集的 token 级蒸馏下，可证明地实现泄露衰减和探索保持。
• 在四个科学领域的 SciKnowEval 上的实验表明，DemoPSD 优于 GRPO 和 SDPO。
• 该方法保持更高的训练熵，并对分布外 GPQA 基准测试表现出稳健的泛化能力。

DemoPSD 通过防止学生编码在测试时不可用的答案依赖捷径，解决了 OPSD 中的根本问题，从而提高了跨领域泛化能力。