Para penulis mengusulkan Sampling Penting Selektif (SIS), sebuah metode plug-in yang mengatasi ledakan varians yang disebabkan oleh rasio penting pada tingkat token dalam pelatihan pasca-penguatan off-policy. SIS memodelkan model off-policy sebagai distribusi proposal dan menerapkan uji penolakan pada tingkat token untuk mengubah token yang diterima menjadi data on-policy, sehingga menghilangkan kebutuhan akan skor koreksi penting untuk token tersebut.
- SIS mengurangi kesenjangan antara estimator gradien off-policy pada tingkat token dan tingkat sekuens melalui bukti teoretis.
- Metode ini hanya memodifikasi rasio penting dalam kerugian kebijakan, menambahkan overhead waktu dinding yang dapat diabaikan.
- Metode ini kompatibel dengan berbagai algoritma pelatihan pasca-penguatan RL.
- Eksperimen pada LLM padat dan MoE di seluruh benchmark matematika dan agen menunjukkan peningkatan yang konsisten serta ketahanan yang lebih kuat di bawah data off-policy.
Pendekatan ini memberikan ketahanan yang jauh lebih kuat di bawah data off-policy sambil secara konsisten meningkatkan tujuan tanpa biaya komputasi yang signifikan.