研究人员提出了两种策略来提高扩散模型的人类反馈强化学习（RLHF）的反馈效率：选择性时间步加权和基于优势的重放。这些方法通过在优化过程中强调信息丰富的时间步和轨迹，解决了人工或奖励模型评估的高成本问题。
- 每个时间步的加权方案对去噪步骤进行重新加权，理论上与近端策略优化（PPO）的收敛特性相关联。
- 基于优势的重放机制优先处理信息丰富的轨迹，使模型能够重用过去的样本，而不是查询新的奖励。
- 在相同的超参数设置下，该方法相比广泛使用的扩散RLHF基线，样本效率提高了高达6倍。
这些策略通过减少对大量反馈的依赖，同时保持对未见提示的泛化能力，显著增强了扩散RLHF的实用性。