저자들은 Group Relative Policy Optimization (GRPO) 훈련 중 올바른 솔루션 접두사의 길이를 동적으로 조정하는 방법인 AdaPrefix-GRPO를 제안합니다. 접두사 길이를 피드백 제어 노브로 처리함으로써 시스템은 지원을 완전히 중단하기 전에 기울기 신호를 최대화하기 위해 성공률을 약 50%로 유지합니다.

  • 이 접근 방식은 그룹 상대적 이점이 제로 성공으로 인해 소멸하는 어려운 문제에서 GRPO가 멈추는 것을 방지합니다.
  • 일치된 훈련 FLOPs에서 0.6B 모델에 대해 정확도를 2배 이상, Qwen3-1.7B에 대해 1.6배 향상시킵니다.
  • 이 방법은 접두사 토큰에 대한 데이터 준비 변경과 손실 마스크만 필요로 하면서 추적 길이를 거의 절반으로 줄입니다.

이 기술은 모델이 현재 능력에 맞춰 난이도를 지속적으로 조정함으로써 프론티어 예제에서 더 효과적으로 학습할 수 있게 합니다.