ある研究は、強化学習（RL）のポストトレーニングリソースの配分に関する固定予算の意思決定問題を調査しており、特に大きなポリシー、長時間のトレーニング、より多くのロールアウト探索、または強力な報酬フィードバックのいずれを優先すべきかを検討している。

  • 著者はGRPOポストトレーニングのためのFLOP-accounting frameworkを導入し、計算資源をロールアウト/探索、ポリシー更新/学習、報酬モデル評価に分解した。
  • LoRA適応型Qwen2.5ポリシーの分析により、最適な戦略がモデルサイズ、予算、報酬システムに依存する条件付き配分フロンティアが明らかになった。
  • 大きなポリシーはトークンあたりの計算資源をより多く消費するため、同じ総予算の下では小さなモデルと比較して更新数やロールアウト数が少なくなる。
  • 報酬システムのアーキテクチャは会計に大きく影響し、ルールベースの報酬は非更新計算資源の大部分をロールアウトに費やす一方、PRMスタイルのフィードバックは可視化された予算推論に配分する。
  • 論文は、高価な検証実行の前に配分レジームを特定するための診断用パイロットグリッドプロトコルとしてRACEを提案している。

著者らは、RLポストトレーニングの研究論文は、モデルサイズ、探索、学習、フィードバック間の計算資源の特定の分割とともに総FLOPsを報告すべきだと主張している。