La investigación investiga si el post-entrenamiento con refuerzo (RL) simplemente amplifica las habilidades primitivas latentes o las compone en nuevas estrategias de nivel superior. Utilizando un Transformer preentrenado en cadenas de reescritura de símbolos y post-entrenado en una tarea de razonamiento basada en Trace, el estudio encuentra que RL resuelve problemas fuera de muestra más eficazmente que el ajuste fino por rechazo.
- RL reorganiza la competencia primitiva a través de un mecanismo composicional por fases, fortaleciendo primero las reducciones primitivas y luego descubriendo procedimientos compuestos válidos.
- Los procedimientos compuestos incluyen composiciones secuenciales que colapsan cadenas ordenadas y composiciones paralelas que combinan contracciones independientes en un solo paso.
- Estas estrategias se reutilizan y consolidan en un repertorio estable en lugar de permanecer como muestras aisladas.
- RL concentra la exploración en estructuras válidas y reutilizables, mientras que el ajuste fino por rechazo produce muchas reescrituras inválidas similares a atajos.
La emergencia de estrategias composicionales está condicionada por si el preentrenamiento organiza la competencia primitiva en procedimientos de reducción que RL puede comprimir. El modelo base proporciona ingredientes procedimentales débiles, que RL construye en estrategias confiables de nivel superior.