4Bおよび8B規模の言語モデルおよびビジョン・ランゲージモデルに対する18回のランの実施に関する制御研究により、Group Relative Policy Optimization (GRPO) は、習得済みのタスクにおいて強力な教師ありベースラインと比較して成功率を信頼できる形で向上させないことが判明した。中程度から高い学習率はパフォーマンスを悪化させ、この手法はサンプリングされたポリシーが貪欲法よりも頻繁に成功する場合にのみ有益である。

  • 学習率、KL重み、シード、初期化、クリッピングの変化 Across において、成功率を向上させる構成設定はなかった。
  • 25個の評価シードと6個のトレーニングシードを用いた対照テストにおいても、帰無結果は維持された。
  • GRPOは、報酬がサンプリングによって到達可能なタスクにおいて成功率を22ポイント増加させた。
  • 中程度の学習率は注意機構およびMLPブロックを劣化させ、高い学習率は追跡可能なグループの局所化なしに崩壊を引き起こす。
  • 4Bでは、後層の有効ランクが能力を追跡している；8Bでは、この結合は消失する。

この失敗は、GRPOがすでにタスクを習得したエージェントに対して無効であることを示しており、それは主に既存の行動を再形成するだけであり、新しいスキルを追加するものではない。