Los autores proponen el Muestreo de Importancia Selectivo (SIS), un método plug-in que aborda la explosión de varianza causada por las razones de importancia a nivel de token en el entrenamiento por refuerzo fuera de política post-entrenamiento. SIS trata al modelo fuera de política como una distribución de propuesta y aplica una prueba de rechazo a nivel de token para convertir los tokens aceptados en datos dentro de política, eliminando así la necesidad de puntuaciones de corrección de importancia para esos tokens.
- SIS reduce la brecha entre los estimadores de gradiente fuera de política a nivel de token y a nivel de secuencia mediante una demostración teórica.
- El método modifica únicamente la razón de importancia en la pérdida de la política, añadiendo una sobrecarga temporal despreciable.
- Es compatible con una amplia variedad de algoritmos de post-entrenamiento RL.
- Los experimentos en LLMs densos y MoE en benchmarks de matemáticas y agentes muestran mejoras consistentes y mayor robustez bajo datos fuera de política.
El enfoque proporciona una robustez sustancialmente mayor bajo datos fuera de política mientras mejora consistentemente los objetivos sin un costo computacional significativo.