Le post-entraînement par RL construit des stratégies de raisonnement compositionnel à partir de compétences primitives

La recherche examine si le post-entraînement par apprentissage par renforcement (RL) amplifie simplement des compétences primitives latentes ou les compose en nouvelles stratégies de niveau supérieur. En utilisant un Transformer pré-entraîné sur des chaînes de réécriture de symboles et post-entraîné sur une tâche de raisonnement basée sur Trace, l'étude trouve que le RL résout plus efficacement les problèmes hors échantillon que le fine-tuning par rejet.

• Le RL réorganise la compétence primitive par un mécanisme compositionnel par phases, renforçant d'abord les réductions primitives puis découvrant des procédures composées valides.
• Les procédures composées incluent des compositions séquentielles qui condensent les chaînes ordonnées et des compositions parallèles qui combinent des contractions indépendantes en une seule étape.
• Ces stratégies sont réutilisées et consolidées en un répertoire stable plutôt que de rester des échantillons isolés.
• Le RL concentre l'exploration sur une structure valide et réutilisable, tandis que le fine-tuning par rejet produit de nombreuses réécritures de type raccourci invalides.

L'émergence des stratégies compositionnelles est conditionnée par le fait que le pré-entraînement organise la compétence primitive en procédures de réduction que le RL peut compresser. Le modèle de base fournit des ingrédients procéduraux faibles, que le RL transforme en stratégies fiables de niveau supérieur.