研究者らは、拡散モデルにおける人間のフィードバックからの強化学習（RLHF）のフィードバック効率を向上させる2つの戦略を提案した：選択的タイムステップ重み付けとアドバンテージベースのリプレイである。これらの手法は、最適化中に情報的なタイムステップと軌道に重点を置くことで、報酬評価の高いコストに対処する。

  • 各タイムステップごとの重み付けスキームは、ノイズ除去ステップの重みを再調整し、理論的に近接方策最適化（PPO）の収束特性につながる。
  • アドバンテージベースのリプレイメカニズムは情報的な軌道に優先順位を付け、モデルが新しい報酬を照会するのではなく過去のサンプルを再利用できるようにする。
  • このアプローチは、同一のハイパーパラメータ設定の下で、広く使用されている拡散RLHFのベースラインと比較して、サンプル効率を最大6倍向上させる。

これらの戦略は、広範な人間のフィードバックや報酬モデルへの依存を減らしながら、未見のプロンプトに対する汎化能力を維持することで、拡散RLHFの実用性を大幅に高める。