A pesquisa investiga se o pós-treinamento por reforço (RL) apenas amplifica habilidades primitivas latentes ou as compõe em novas estratégias de nível superior. Usando um Transformer pré-treinado em cadeias de reescrita de símbolos e pós-treinado em uma tarefa de raciocínio baseada em Trace, o estudo encontra que o RL resolve problemas fora da amostra mais eficazmente do que o ajuste fino por rejeição.
- O RL reorganiza a competência primitiva através de um mecanismo composicional em fases, fortalecendo primeiro as reduções primitivas e depois descobrindo procedimentos compostos válidos.
- Os procedimentos compostos incluem composições sequenciais que colapsam cadeias ordenadas e composições paralelas que combinam contrações independentes em uma única etapa.
- Essas estratégias são reutilizadas e consolidadas em um repertório estável, em vez de permanecerem como amostras isoladas.
- O RL concentra a exploração em estruturas válidas e reutilizáveis, enquanto o ajuste fino por rejeição produz muitas reescritas inválidas semelhantes a atalhos.
O surgimento de estratégias composicionais é condicionado por se o pré-treinamento organiza a competência primitiva em procedimentos de redução que o RL pode comprimir. O modelo base fornece ingredientes procedimentais fracos, que o RL constrói em estratégias confiáveis de nível superior.