A pesquisa investiga se o pós-treinamento por reforço (RL) simplesmente amplifica habilidades primitivas latentes ou as compõe em novas estratégias de nível superior. Usando um ambiente de gramática de reescrita totalmente observável, o estudo descobre que o RL reorganiza a competência primitiva através de um mecanismo composicional em fases.
- O RL resolve problemas fora da amostra raramente resolvidos pelo modelo pré-treinado, mesmo com orçamentos de amostragem maiores, enquanto o ajuste fino por rejeição (rejection fine-tuning) atinge um platô cedo.
- O RL fortalece reduções primitivas antes de descobrir procedimentos compostos válidos, incluindo composições sequenciais e paralelas.
- Esses procedimentos compostos são reutilizados e consolidados em um repertório estável, em vez de permanecerem como amostras isoladas.
- A diferença chave entre o RL e o ajuste fino por rejeição é a seletividade; o RL concentra a exploração em uma estrutura válida e reutilizável.
O surgimento de estratégias composicionais depende do pré-treinamento organizar a competência primitiva em procedimentos de redução que o RL pode comprimir, permitindo que ele construa estratégias confiáveis de nível superior a partir de ingredientes procedimentais fracos.