Peneliti mengusulkan dua strategi untuk meningkatkan efisiensi umpan balik dari pembelajaran penguatan dari umpan balik manusia (RLHF) untuk model difusi: pemberatan timestep selektif dan replay berbasis keuntungan. Metode-metode ini mengatasi biaya tinggi evaluasi manusia atau model reward dengan menekankan timestep dan trajektori yang informatif selama optimisasi.
- Skema pemberatan per-timestep menyetel ulang langkah denoising, secara teoritis terhubung dengan sifat konvergensi optimisasi kebijakan proksimal (PPO).
- Mekanisme replay berbasis keuntungan memprioritaskan trajektori informatif, memungkinkan model untuk menggunakan kembali sampel masa lalu alih-alih meminta reward baru.
- Pendekatan ini mencapai peningkatan efisiensi sampel hingga 6x dibandingkan dengan baseline RLHF difusi yang banyak digunakan di bawah pengaturan hiperparameter yang identik.
Strategi-strategi ini secara signifikan meningkatkan kepraktisan RLHF difusi dengan mengurangi ketergantungan pada umpan balik ekstensif sambil mempertahankan generalisasi ke prompt yang belum pernah dilihat.