研究人员引入了GeoSD，这是一种几何自蒸馏目标，旨在防止策略内蒸馏中常见的分布外漂移。该方法通过对齐教师偏好与学生重叠度，并使用Fisher-Rao距离惩罚预测漂移来对抗这一问题。

  • 使用Hellinger损失来减弱学生尚无法支持的标记上的监督信号。
  • 应用测量Fisher-Rao距离的近端项，以限制与最近检查点的偏差。
  • 在下一个标记分布的几何结构中实现自然梯度更新。
  • 在数学推理基准测试中，平均OOD准确率提高了5.7-8.6分。
  • 在1.7B到32B参数的模型规模范围内保持收益。

GeoSD在保持分布内性能的同时，通过在高熵状态下保持替代预测的可达性，显著增强了泛化能力。