Авторы предлагают Селективную важную выборку (SIS), плагинный метод, который устраняет взрыв дисперсии, вызванный уровнями токенов отношениями важности во внеполитическом обучении с подкреплением после дообучения. SIS рассматривает внеполитическую модель как распределение предложения и применяет тест отклонения на уровне токенов для преобразования принятых токенов в данные он-политики, тем самым устраняя необходимость в оценках коррекции важности для этих токенов.

  • SIS уменьшает разрыв между оценками градиентов внеполитической модели на уровне токенов и на уровне последовательности посредством теоретического доказательства.
  • Метод модифицирует только отношение важности в функции потерь политики, добавляя пренебрежимо малые накладные расходы по времени выполнения.
  • Он совместим с широким спектром алгоритмов дообучения RL.
  • Эксперименты на плотных и MoE LLM в задачах математики и агентов показывают последовательные улучшения и более сильную устойчивость при использовании внеполитических данных.

Подход обеспечивает существенно более сильную устойчивость при работе с внеполитическими данными, одновременно последовательно улучшая целевые функции без значительных вычислительных затрат.