Pesquisadores propõem duas estratégias para melhorar a eficiência do feedback do aprendizado por reforço a partir de feedback humano (RLHF) para modelos de difusão: ponderação seletiva de etapas de tempo e replay baseado em vantagem. Esses métodos abordam o alto custo das avaliações humanas ou do modelo de recompensa, enfatizando etapas de tempo e trajetórias informativas durante a otimização.
- Um esquema de ponderação por etapa de tempo repondera as etapas de desruído, conectando-se teoricamente às propriedades de convergência da otimização de política proximal (PPO).
- Um mecanismo de replay baseado em vantagem prioriza trajetórias informativas, permitindo que o modelo reutilize amostras passadas em vez de consultar novas recompensas.
- A abordagem alcança até uma melhoria de 6x na eficiência de amostra em comparação com as bases amplamente utilizadas de RLHF de difusão sob configurações idênticas de hiperparâmetros.
Essas estratégias melhoram significativamente a praticidade do RLHF de difusão ao reduzir a dependência de feedback extenso, enquanto preserva a generalização para prompts não vistos.