研究者らは、拡散モデルに対する人間のフィードバックからの強化学習（RLHF）のフィードバック効率を向上させる2つの戦略を提案している：選択的タイムステップ重み付けとアドバンテージベースのリプレイ。これらの手法は、最適化中に情報的なタイムステップとトラジェクトリを強調することで、人間または報酬モデルの評価の高コストに対処する。

  • 各タイムステップごとの重み付けスキームはノイズ除去ステップの重みを再調整し、理論的に近接方策最適化（PPO）の収束特性につながる。
  • アドバンテージベースのリプレイ機構は情報的なトラジェクトリを優先し、モデルが新しい報酬を照会するのではなく過去のサンプルを再利用できるようにする。
  • このアプローチは、同一のハイパーパラメータ設定の下で、広く使用されている拡散RLHFのベースラインと比較して最大6倍のサンプル効率の向上を実現する。

これらの戦略は、広範なフィードバックへの依存を減らしながら見知らぬプロンプトへの汎化性を維持することで、拡散RLHFの実用性を大幅に高める。