研究は、強化学習（RL）のポストトレーニングが潜在的な原始的なスキルを増幅させるだけなのか、それらを新しい高レベルの戦略に構成するのかを調査している。シンボル書き換えチェーンで事前学習し、Traceベースの推論タスクでポスト学習されたTransformerを用いて、この研究はRLが拒否ファインチューニングよりも未見の問題をより効果的に解決することを見出した。

  • RLは段階的な構成メカニズムを通じて原始的な能力を再編成し、まず原始的な縮約を強化してから有効な構成手順を発見する。
  • 構成手順には、順序付けられたチェーンを圧縮する逐次構成と、単一ステップで独立した収縮を組み合わせた並列構成が含まれる。
  • これらの戦略は再利用され、孤立したサンプルのままではなく安定したレパートリに統合される。
  • RLは有効な再利用可能な構造へと探索を集中させるのに対し、拒否ファインチューニングは無効なショートカット的な書き換えを多数生成する。

構成的戦略の出現は、事前学習が原始的な能力をRLが圧縮できる縮約手順に整理しているかどうかによってゲートされる。ベースモデルは弱い手続的要素を提供し、RLはそれらを信頼性のある高レベルの戦略へと構築する。