Os autores propõem a Amostragem de Importância Seletiva (SIS), um método plug-in que aborda a explosão de variância causada pelas razões de importância em nível de token no treinamento por reforço off-policy pós-treinamento. O SIS trata o modelo off-policy como uma distribuição de proposta e aplica um teste de rejeição em nível de token para converter os tokens aceitos em dados on-policy, eliminando assim a necessidade de escores de correção de importância para esses tokens.
- O SIS reduz a lacuna entre os estimadores de gradiente off-policy em nível de token e em nível de sequência por meio de prova teórica.
- O método modifica apenas a razão de importância na perda da política, adicionando uma sobrecarga de tempo de parede desprezível.
- É compatível com uma ampla variedade de algoritmos de pós-treinamento RL.
- Experimentos em LLMs densos e MoE em benchmarks de matemática e agentes mostram melhorias consistentes e maior robustez sob dados off-policy.
A abordagem fornece robustez substancialmente maior sob dados off-policy enquanto melhora consistentemente os objetivos sem custo computacional significativo.