Los investigadores proponen dos estrategias para mejorar la eficiencia del feedback del aprendizaje por refuerzo a partir de comentarios humanos (RLHF) para modelos de difusión: ponderación selectiva de pasos de tiempo y replay basado en ventaja. Estos métodos abordan el alto costo de las evaluaciones humanas o del modelo de recompensa, enfatizando los pasos de tiempo y trayectorias informativas durante la optimización.
- Un esquema de ponderación por paso de tiempo repondera los pasos de desvanecimiento, conectándose teóricamente con las propiedades de convergencia de la optimización de política proximal (PPO).
- Un mecanismo de replay basado en ventaja prioriza trayectorias informativas, permitiendo al modelo reutilizar muestras pasadas en lugar de consultar nuevas recompensas.
- El enfoque logra hasta una mejora de 6x en la eficiencia de muestra en comparación con las bases ampliamente utilizadas de RLHF de difusión bajo configuraciones idénticas de hiperparámetros.
Estas estrategias mejoran significativamente la practicidad del RLHF de difusión al reducir la dependencia de feedback extenso mientras se preserva la generalización a prompts no vistos.