作者提出了ShortOPD，这是一种短到长的在线蒸馏调度方案，旨在恢复在自由形式生成中崩溃的结构化剪枝大语言模型的生成能力。通过检测教师确认的重复后缀并将幸存的前缀视为有效 rollout 长度，该方法比标准方法更高效地分配训练预算。

  • ShortOPD 将压缩模型分数提高到其未恢复值的约9倍，以及在数学、代码和开放生成任务中，达到SFT without KD、KD和SeqKD等标准恢复配方的1.6–4.4倍。
  • 该方法在仅使用四分之一训练时间（8.5 vs. 35.9小时）和减少71% rollout token的情况下，以两个点的差距匹配了固定的8192-token rollout horizon。

这种方法旨在将结构化剪枝超越困惑度和多项选择基准测试中的边际收益，使压缩模型更接近部署就绪的生成质量。