AdaPrefix-GRPO는 추적 접두사를 적응시켜 어려운 수학에서 GRPO 정확도를 두 배로 높입니다

AdaPrefix-GRPO는 Group Relative Policy Optimization (GRPO) 에서의 소실되는 기울기 문제를 해결하기 위해 훈련 문제에 미리 붙이는 정답 솔루션 접두사의 길이를 동적으로 조정합니다. 성공률을 약 50%로 유지함으로써 이 방법은 기울기 신호가 강력하게 유지되도록 보장하고, 최종적으로는 지원 없이 배포된 모델이 문제를 해결할 수 있도록 지원을 철회합니다.

• 일치하는 훈련 FLOPs을 가진 어려운 수학 작업에서 AdaPrefix-GRPO는 0.6B 모델에 대해 GRPO 정확도를 두 배 이상 높입니다 (2.1x 향상).
• Qwen3-1.7B 에서 1.6x 개선, AIME 벤치마크에서 1.7x 개선을 달성합니다.
• 이 접근 방식은 접두사 토큰에 대한 데이터 준비 변경과 손실 마스크만 구현하면서 추적 길이를 약 절반으로 줄입니다.

이 방법은 특히 작은 모델에 효과적이며, 기본 트레이너의 수정 없이도 상당한 정확도 향상을 제공합니다.