저자들은 선택적 중요도 샘플링(SIS)을 제안합니다. 이는 플러그인 방식의 방법으로, 오프-정책 강화 학습 파인튜닝에서 토큰 수준의 중요도 비로 인해 발생하는 분산 폭발을 해결합니다. SIS는 오프-정책 모델을 제안 분포로 취급하고 토큰 수준의 거부 검정을 적용하여 수락된 토큰을 온-정책 데이터로 변환함으로써, 해당 토큰에 대한 중요도 보정 점수가 필요 없게 만듭니다.
- SIS는 이론적 증명을 통해 토큰 수준과 시퀀스 수준의 오프-정책 기울기 추정치 간의 격차를 줄입니다.
- 이 방법은 정책 손실의 중요도 비만 수정하여 실질적인 실행 시간 오버헤드를 추가하지 않습니다.
- 광범위한 RL 파인튜닝 알고리즘과 호환됩니다.
- 수학 및 에이전트 벤치마크에서 밀집형 및 MoE LLM에 대한 실험은 일관된 개선과 오프-정책 데이터 하에서 더 강한 견고성을 보여줍니다.
이 접근 방식은 계산 비용의 큰 증가 없이도 오프-정책 데이터 하에서 상당히 강화된 견고성과 목적 함수의 일관된 개선을 제공합니다.