Les chercheurs proposent deux stratégies pour améliorer l'efficacité du feedback de l'apprentissage par renforcement à partir du feedback humain (RLHF) pour les modèles de diffusion : la pondération sélective des pas de temps et le rejeu basé sur l'avantage. Ces méthodes traitent le coût élevé des évaluations de récompense en mettant l'accent sur les pas de temps et les trajectoires informatifs lors de l'optimisation.
- Un schéma de pondération par pas de temps réajuste les étapes de débruitage, se connectant théoriquement aux propriétés de convergence de l'optimisation de politique proximale (PPO).
- Un mécanisme de rejeu basé sur l'avantage priorise les trajectoires informatives, permettant au modèle de réutiliser des échantillons passés au lieu de requérir de nouvelles récompenses.
- L'approche atteint jusqu'à une amélioration de 6x de l'efficacité en échantillons par rapport aux bases de référence RLHF par diffusion largement utilisées sous des paramètres hyperidentiques.
Ces stratégies améliorent significativement la praticité du RLHF par diffusion en réduisant la dépendance à un feedback humain ou de modèle de récompense étendu tout en préservant la généralisation aux prompts non vus.