Le post-entraînement par RL construit des stratégies de raisonnement compositionnel à partir de compétences primitives

La recherche examine si le post-entraînement par apprentissage par renforcement (RL) amplifie simplement les compétences primitives latentes ou les compose en nouvelles stratégies de niveau supérieur. En utilisant un environnement de grammaire de réécriture entièrement observable, l'étude trouve que le RL réorganise la compétence primitive via un mécanisme compositionnel par phases.

• Le RL résout rarement des problèmes hors échantillon non résolus par le modèle pré-entraîné, même avec des budgets d'échantillonnage plus importants, tandis que le fine-tuning par rejet plafonne tôt.
• Le RL renforce les réductions primitives avant de découvrir des procédures composées valides, y compris les compositions séquentielles et parallèles.
• Ces procédures composées sont réutilisées et consolidées en un répertoire stable plutôt que de rester des échantillons isolés.
• La différence clé entre le RL et le fine-tuning par rejet est la sélectivité ; le RL concentre l'exploration dans une structure valide et réutilisable.

L'émergence des stratégies compositionnelles dépend de l'organisation de la compétence primitive en procédures de réduction par le pré-entraînement, permettant au RL de les compresser et de construire des stratégies fiables de niveau supérieur à partir d'ingrédients procéduraux faibles.