研究调查了强化学习（RL）后训练是仅仅放大了潜在的基础技能，还是将它们组合成新的更高级策略。通过使用一个完全可观测的重写语法环境，研究发现 RL 通过阶段性组合机制重组了基础能力。
- RL 解决了预训练模型很少解决的问题，即使使用更大的采样预算，而拒绝微调（rejection fine-tuning）则早期就达到平台期。
- RL 在发现有效的组合过程（包括顺序和并行组合）之前，先强化了基础约简。
- 这些组合过程被重复利用并整合到一个稳定的 repertoire 中，而不是保持为孤立的样本。
- RL 与拒绝微调的关键区别在于选择性；RL 将探索集中在有效的可重用结构上。
组合策略的出现取决于预训练如何将基础能力组织成 RL 可以压缩的约简过程，从而使其能够从弱过程性成分构建可靠的更高级策略。