选择性重要性采样将离策略令牌转为在线策略，以改进LLM对齐

作者提出了选择性重要性采样（SIS），这是一种插件式方法，用于解决离线强化学习后训练中由令牌级重要性比率引起的方差爆炸问题。SIS将离策略模型视为提议分布，并应用令牌级拒绝测试，将接受的令牌转换为在线策略数据，从而无需为这些令牌计算重要性校正分数。

• 通过理论证明，SIS缩小了令牌级和序列级离策略梯度估计器之间的差距。
• 该方法仅修改策略损失中的重要性比率，增加的墙钟时间开销可忽略不计。
• 它与各种各样的RL后训练算法兼容。
• 在数学和智能体基准测试中对密集型和MoE LLM的实验显示，在离策略数据下具有一致的改进和更强的鲁棒性。

该方法在离策略数据下提供了显著更强的鲁棒性，同时在不增加显著计算成本的情况下持续优化目标。