一项研究调查了在固定预算下分配强化学习（RL）后训练资源的决策问题，具体考察应优先选择更大的策略、延长训练时间、增加 rollout 搜索还是更强的奖励反馈。

  • 作者为 GRPO 后训练引入了 FLOP 核算框架，将计算资源分解为 rollout/搜索、策略更新/学习和奖励模型评估。
  • 对 LoRA 适配的 Qwen2.5 策略的分析揭示了条件分配前沿，最优策略取决于模型规模、预算和奖励系统。
  • 较大的策略在每个 token 上消耗更多计算资源，因此在相同的总预算下，相比小模型会产生更少的更新或 rollout。
  • 奖励系统的架构对核算有显著影响；基于规则的奖励将大部分非更新计算用于 rollout，而 PRM 风格的反馈则将可见预算分配给推理。
  • 论文提出了 RACE，作为一种诊断性试点网格协议，以在昂贵的验证运行之前识别分配机制。

作者认为，RL 后训练论文应报告总 FLOPs，以及计算资源在模型规模、搜索、学习和反馈中的具体分配。