著者らは、Group Relative Policy Optimization (GRPO) 訓練中に正解のプレフィックス長を動的に調整する手法であるAdaPrefix-GRPOを提案する。プレフィックス長をフィードバック制御されたノブとして扱うことで、システムは支援を完全に中止する前に勾配信号を最大化するために成功率を約50%に維持する。

  • このアプローチは、ゼロ成功によりグループ相対的利得が消滅する難しい問題でGRPOが停滞するのを防ぐ。
  • 一致した訓練FLOPsにおいて、0.6Bモデルで精度を2倍以上、Qwen3-1.7Bで1.6倍向上させる。
  • この手法は、プレフィックストークンに対するデータ準備の変更と損失マスクのみを必要としながら、トレース長をほぼ半減させる。

この技術により、モデルは難易度をモデルの現在の能力に継続的に調整することで、フロンティアの例からより効果的に学習できる。