TurnOPD通过感知回合的在线策略蒸馏改善长视距智能体训练

作者提出了TurnOPD，一种回合级预算策略，旨在解决长视距智能体任务中原始在线策略蒸馏（OPD）的低效问题。该方法引入了自适应 rollout 深度预算和渐进式回合归一化损失预算，以优化训练资源。

• 全视距 rollout 经常在尾部回合浪费墙钟时间资源，这些回合提供的 KL 监督信号弱且噪声大。
• 轨迹级 KL 目标将大部分损失集中在浅层 token 上，导致深层决策回合欠训练。
• TurnOPD 使用基于探测的回合统计信息来确定 rollout 长度，并逐渐将 KL 权重从 token 级转移到回合平衡的监督。

在 ALFWorld、WebShop 和 Multi-Hop Search 上的实验表明，与原始 OPD 相比，TurnOPD 在相等的墙钟训练预算下实现了更高的验证准确率。