Les chercheurs proposent deux stratégies pour améliorer l'efficacité du feedback de l'apprentissage par renforcement à partir du feedback humain (RLHF) pour les modèles de diffusion : la pondération sélective des pas de temps et le rejeu basé sur l'avantage. Ces méthodes adressent le coût élevé des évaluations humaines ou des modèles de récompense en mettant l'accent sur les pas de temps et trajectoires informatifs lors de l'optimisation.
- Un schéma de pondération par pas de temps réajuste les étapes de débruitage, se connectant théoriquement aux propriétés de convergence de l'optimisation de politique proximale (PPO).
- Un mécanisme de rejeu basé sur l'avantage priorise les trajectoires informatives, permettant au modèle de réutiliser des échantillons passés au lieu de requérir de nouvelles récompenses.
- L'approche atteint jusqu'à une amélioration de 6x de l'efficacité en échantillons par rapport aux bases de référence RLHF par diffusion largement utilisées sous des paramètres hyperidentiques.
Ces stratégies améliorent significativement la praticité du RLHF par diffusion en réduisant la dépendance à un feedback étendu tout en préservant la généralisation aux prompts non vus.