Peneliti mengusulkan dua strategi untuk meningkatkan efisiensi umpan balik dari pembelajaran penguatan dari umpan balik manusia (RLHF) untuk model difusi: pemberian bobot timestep selektif dan reputasi berbasis keuntungan. Metode-metode ini mengatasi biaya tinggi evaluasi reward dengan menekankan timestep dan lintasan yang informatif selama optimisasi.
- Skema pemberian bobot per-timestep menata ulang langkah denoising, secara teoritis terhubung ke sifat konvergensi optimisasi kebijakan proksimal (PPO).
- Mekanisme reputasi berbasis keuntungan memprioritaskan lintasan yang informatif, memungkinkan model untuk menggunakan kembali sampel masa lalu alih-alih meminta reward baru.
- Pendekatan ini mencapai peningkatan hingga 6x dalam efisiensi sampel dibandingkan dengan baseline RLHF difusi yang banyak digunakan di bawah pengaturan hyperparameter yang identik.
Strategi-strategi ini secara signifikan meningkatkan kepraktisan RLHF difusi dengan mengurangi ketergantungan pada umpan balik manusia atau model reward yang ekstensif sambil mempertahankan generalisasi ke prompt yang belum dilihat.