Neuron-OPSD 使用神经元激活值实现无需标注的大语言模型自蒸馏

研究人员提出了 Neuron On-Policy Self-Distillation (Neuron-OPSD)，这是一个以数据为中心的框架，利用内部神经元激活值来指导大语言模型的训练数据选择和教师上下文构建。该方法通过从教师分布进行 on-policy 蒸馏来训练模型，实现了无需标注的自蒸馏，消除了对 ground-truth 标签的需求。

该方法解决了现有无标注自我进化技术的局限性，例如基于 SFT 和 GRPO 的变体在域外性能下降，以及基于奖励的 on-policy RL 中校准误差膨胀的问题。通过使用神经元激活值来引导过程，Neuron-OPSD 旨在提高域内任务性能，同时保持跨域泛化能力。

该框架专为在线交互或外部监督成本高昂或不可行的场景设计，提供了一种在概念上区别于依赖记录轨迹和奖励标签的 offline RL 方法的替代方案。