对4B和8B规模的语言和视觉-语言模型的18次运行的受控研究发现，在已掌握的任务上，组相对策略优化（GRPO）并未可信地提高成功率，其表现优于强大的监督基线。中等到高的学习率使性能变差，而该方法仅在采样策略已经比贪婪策略更常成功时才有帮助。

  • 没有任何配置在学习率、KL权重、种子、初始化和裁剪的变化中提高了成功率。
  • 在使用25个评估种子和6个训练种子的配对测试下，零结果仍然成立。
  • GRPO在通过采样可达到的奖励的任务上将成功率提高了22分。
  • 中等学习率会降低注意力和MLP块的性能，而高学习率会导致崩溃，且无法追踪组定位。
  • 在4B模型中，后期层的有效秩与能力相关；在8B模型中，这种耦合消失了。

这一失败表明，对于已经掌握任务的代理，GRPO是无效的，因为它主要重塑现有行为，而不是添加新技能。