Les auteurs proposent l'échantillonnage d'importance sélectif (SIS), une méthode plug-in qui résout l'explosion de variance causée par les ratios d'importance au niveau du token dans le post-entraînement par renforcement hors-policy. Le SIS traite le modèle hors-policy comme une distribution de proposition et applique un test de rejet au niveau du token pour convertir les tokens acceptés en données en ligne, éliminant ainsi le besoin de scores de correction d'importance pour ces tokens.
- Le SIS réduit l'écart entre les estimateurs de gradient hors-policy au niveau du token et au niveau de la séquence par une preuve théorique.
- La méthode modifie uniquement le ratio d'importance dans la perte de politique, ajoutant un surcoût temporel négligeable.
- Elle est compatible avec une grande variété d'algorithmes de post-entraînement RL.
- Les expériences sur des LLM denses et MoE à travers les benchmarks mathématiques et agent montrent des améliorations cohérentes et une robustesse plus forte sous des données hors-policy.
L'approche offre une robustesse nettement supérieure sous des données hors-policy tout en améliorant de manière cohérente les objectifs sans coût computationnel significatif.