作者提出了 AdaPrefix-GRPO，这是一种在 Group Relative Policy Optimization (GRPO) 训练期间动态调整正确解前缀长度的方法。通过将前缀长度视为受反馈控制的旋钮，系统在完全撤出辅助之前维持约 50% 的成功率以最大化梯度信号。

  • 该方法防止 GRPO 在难题上停滞，这些难题由于零成功导致组相对优势消失。
  • 在匹配的 FLOPs 训练下，它在难题基准测试中将 0.6B 模型的准确率提高了 2 倍以上，将 Qwen3-1.7B 的准确率提高了 1.6 倍。
  • 该方法大致将追踪长度减半，同时仅需数据准备更改和前缀 token 的损失掩码。

该技术通过确保持续调整难度以匹配模型当前能力，使模型能够更有效地从前沿示例中学习。