研究は、強化学習（RL）のポストトレーニングが潜在的な原始的なスキルを増幅させるだけなのか、それらを新しい高レベルの戦略に構成するのかを探求している。完全に観測可能な書き換え文法環境を用いて、本研究はRLが段階的な構成メカニズムを通じて原始的な能力を再編成することを発見した。

  • RLは、事前トレーニング済みモデルによってほとんど解決されない未見の問題を解決し、より大きなサンプリング予算があっても、拒否ファインチューニングは早期に頭打ちになる。
  • RLは、有効な構成された手順（逐次および並列の構成を含む）を発見する前に、原始的な還元を強化する。
  • これらの構成された手順は再利用され、孤立したサンプルのままではなく安定したレパートリに統合される。
  • RLと拒否ファインチューニングの主な違いは選択性であり、RLは探索を有効で再利用可能な構造に集中させる。

構成戦略の出現は、事前トレーニングが原始的な能力をRLが圧縮できる還元手順に整理することに依存しており、これにより弱い手続的要素から信頼性の高い高レベルの戦略を構築することが可能になる。