La investigación investiga si el post-entrenamiento con refuerzo (RL) simplemente amplifica las habilidades primitivas latentes o las compone en nuevas estrategias de nivel superior. Utilizando un entorno de gramática de reescritura completamente observable, el estudio encuentra que RL reorganiza la competencia primitiva a través de un mecanismo composicional por fases.
- RL resuelve problemas fuera de la muestra raramente resueltos por el modelo preentrenado, incluso con presupuestos de muestreo más grandes, mientras que el ajuste fino por rechazo (rejection fine-tuning) se estanca temprano.
- RL fortalece las reducciones primitivas antes de descubrir procedimientos compuestos válidos, incluidas composiciones secuenciales y paralelas.
- Estos procedimientos compuestos se reutilizan y consolidan en un repertorio estable en lugar de permanecer como muestras aisladas.
- La diferencia clave entre RL y el ajuste fino por rechazo es la selectividad; RL concentra la exploración en una estructura válida y reutilizable.
La emergencia de estrategias composicionales depende de que el preentrenamiento organice la competencia primitiva en procedimientos de reducción que RL puede comprimir, permitiéndole construir estrategias confiables de nivel superior a partir de ingredientes procedimentales débiles.