研究调查了强化学习（RL）后训练是仅仅放大了潜在的原始技能，还是将它们组合成新的更高级策略。通过使用在符号重写链上预训练并在基于Trace的推理任务上进行后训练的Transformer，研究发现RL比拒绝微调更有效地解决了未见问题。
- RL通过分阶段组合机制重组原始能力，首先加强原始归约，然后发现有效的组合过程。
- 组合过程包括折叠有序链的顺序组合和将独立收缩结合在一步中的并行组合。
- 这些策略被重用并整合到稳定的技能库中，而不是保持为孤立的样本。
- RL将探索集中在有效的可重用结构上，而拒绝微调产生了大量无效的类似捷径的重写。
组合策略的出现受限于预训练是否将原始能力组织成RL可以压缩的归约过程。基础模型提供了弱的程序性成分，RL将其构建为可靠的更高级策略。