AdaPrefix-GRPOは、Group Relative Policy Optimization (GRPO) の勾配消失の問題に対処し、トレーニング対象の問題に付与される正解のプレフィックスの長さを動的に調整します。成功率を約50%に保つことで、勾配シグナルを強く維持し、最終的には支援を取りやめてデプロイされたモデルが自力で問題を解決できるようにします。

  • 一致したトレーニングFLOPsを持つ難しい数学タスクにおいて、AdaPrefix-GRPOは0.6BモデルのGRPO精度を2倍以上に向上させます（2.1倍の改善）。
  • Qwen3-1.7Bで1.6倍の改善、AIMEベンチマークで1.7倍の改善を達成します。
  • このアプローチは、プレフィックストークンに対するデータ準備の変更と損失マスクのみを実装しながら、トレース長を約半分にするものです。

この手法は特に小規模モデルに効果的であり、基盤となるトレーナーへの修正を必要とせずに大きな精度向上をもたらします。