AdaPrefix-GRPO 通过适配轨迹前缀使 GRPO 在难题上的准确率翻倍

AdaPrefix-GRPO 通过动态调整附加到训练问题上的正确解前缀的长度，解决了组相对策略优化（GRPO）中梯度消失的问题。该方法通过将成功率维持在接近 50% 的水平，确保梯度信号保持强劲，最终撤去辅助，使部署后的模型能够独立解决问题。

• 在匹配训练 FLOPs 的难题任务上，AdaPrefix-GRPO 将 0.6B 模型的 GRPO 准确率提高了两倍以上（提升 2.1 倍）。
• 在 Qwen3-1.7B 上实现了 1.6 倍的提升，在 AIME 基准测试中实现了 1.7 倍的提升。
• 该方法仅通过数据准备更改和前缀 token 的损失掩码实现，将轨迹长度大致减半。

该方法对较小模型特别有效，在不修改底层训练器的情况下提供了显著的准确率提升。