研究人员提出了两种策略来提高扩散模型的人类反馈强化学习（RLHF）的反馈效率：选择性时间步加权和基于优势的重放。这些方法通过在优化过程中强调信息丰富的时间步和轨迹来解决奖励评估的高成本问题。
- 每个时间步的加权方案重新加权去噪步骤，理论上与近端策略优化（PPO）的收敛特性相关联。
- 基于优势的重放机制优先处理信息丰富的轨迹，使模型能够重用过去的样本，而不是查询新的奖励。
- 在相同的超参数设置下，该方法相比广泛使用的扩散RLHF基线实现了高达6倍的样本效率提升。
这些策略通过减少对大量人类或奖励模型反馈的依赖，同时保持对未见提示的泛化能力，显著增强了扩散RLHF的实用性。