研究人员提出了重放前缀在线策略蒸馏（Replayed-Prefix On-Policy Distillation, ReOPD），这是一种离线方法，通过重用预先收集的教师轨迹作为重放前缀，来解决完全在线策略蒸馏的高成本问题。该方法允许学生在选定的步骤中行动，同时教师提供密集的每步监督，而无需执行新的环境交互。

  • ReOPD解决了多轮OPD中的“前缀陷阱”问题，即提高学生的相关性可能会向教师查询不可靠的历史记录。
  • 它实现了一种逐步衰减的采样调度，强调早期、低偏移的前缀以管理分布偏移。
  • 在数学推理和搜索环境中，ReOPD在训练期间使用零工具调用的同时保持或提高了准确性。
  • 通过将智能体与环境的交互转化为可重用的离线资源，该方法在每个训练步骤上比标准OPD快至少4倍。