Los investigadores proponen dos estrategias para mejorar la eficiencia del feedback del aprendizaje por refuerzo a partir de feedback humano (RLHF) para modelos de difusión: ponderación selectiva de pasos de tiempo y replay basado en ventaja. Estos métodos abordan el alto costo de las evaluaciones de recompensa enfatizando los pasos de tiempo y trayectorias informativas durante la optimización.
- Un esquema de ponderación por paso de tiempo repondera los pasos de desvanecimiento, conectándose teóricamente a las propiedades de convergencia de la optimización de política proximal (PPO).
- Un mecanismo de replay basado en ventaja prioriza trayectorias informativas, permitiendo que el modelo reutilice muestras pasadas en lugar de consultar nuevas recompensas.
- El enfoque logra hasta una mejora de 6x en la eficiencia de muestra en comparación con las bases ampliamente utilizadas de RLHF de difusión bajo configuraciones idénticas de hiperparámetros.
Estas estrategias mejoran significativamente la practicidad del RLHF de difusión al reducir la dependencia de extenso feedback humano o de modelos de recompensa, mientras se preserva la generalización a prompts no vistos.