一项研究表明，对自蒸馏推理轨迹进行分节感知压缩，可使Qwen3.5-4B和Gemma-4-12b模型在显著减少令牌使用的情况下达到或超越原始性能。通过保留计算和验证跨度并压缩叙述部分，该方法避免了与扁平化压缩相关的贪婪解码失败问题。

  • 扁平化压缩会导致贪婪解码失败，在温度值为0时，对93%的GSM8K问题出现循环。
  • 与未压缩的SFT控制相比，分节感知压缩使GSM8K上的准确率提高了+.15，同时使用的令牌量减少了约1.7倍。
  • 在无系统提示的情况下训练并在有系统提示的情况下服务可获得最佳结果，因为提示起到了效率触发器的作用。
  • 可以通过身份提示切换压缩行为，允许模型在简洁推理和解压缩输出之间切换。
  • 使用更强的教师模型产生的结果不如未压缩的SFT，表明推理轨迹必须贴近学生的分布。
  • 该方法可有效迁移到更大的模型；Gemma-4-12b在GSM8K上以1,679个令牌达到.86的准确率，而原始模型需要3,753个令牌才能达到.57的准确率。

该研究强调，保留计算跨度可以锚定终止点并提高效率，同时完整的代码、模型和数据集均已公开。