著者らは、Selective Importance Sampling (SIS) を提案する。これはプラグイン方式の手法であり、オフポリシー強化学習のファインチューニングにおいて、トークンレベルの重要度比によって引き起こされる分散爆発に対処する。SISはオフポリシーモデルを提案分布として扱い、トークンレベルの棄却検定を適用して、受け入れられたトークンをオンポリシーデータに変換する。これにより、これらのトークンに対する重要度補正スコアが必要なくなる。

  • SISは理論的証明を通じて、トークンレベルとシーケンスレベルのオフポリシー勾配推定量の間のギャップを縮小する。
  • この手法はポリシー損失における重要度比のみを変更し、実質的な実行時間のオーバーヘッドを追加しない。
  • 幅広いRLファインチューニングアルゴリズムと互換性がある。
  • 数学およびエージェントベンチマークにおける密集型およびMoE LLMでの実験は、一貫した改善とオフポリシーデータ下でのより強い堅牢性を示している。

このアプローチは、計算コストを大きく増やすことなく、オフポリシーデータ下で大幅に強化された堅牢性と、目的関数の一貫する改善を提供する。