Neuron-OPSD 利用神经元激活实现无标注 LLM 自蒸馏

该论文介绍了 Neuron On-Policy Self-Distillation (Neuron-OPSD)，这是一个以数据为中心的框架，利用内部神经元激活来指导大型语言模型的训练数据选择和教师上下文构建。这种方法实现了无需标注的自蒸馏，无需真实标签或现实世界交互反馈。

• 解决了现有方法的缺点，其中基于 SFT 和 GRPO 的变体遭受域外性能下降，而基于奖励的在线策略 RL 会放大校准误差。
• 使用内部神经元激活来指导训练数据选择和教师上下文构建。
• 通过从教师分布进行在线策略蒸馏来训练模型，在任何阶段都不需要真实标签。

Neuron-OPSD 在保持跨域泛化能力的同时提高了域内任务性能，并缓解了相对于先前无标注基线的校准崩溃问题。该框架对于在线交互或外部监督成本高昂或不可行的场景特别相关。