Penelitian menyelidiki apakah pasca-pelatihan pembelajaran penguatan (RL) hanya memperkuat keterampilan primitif laten atau menyusunnya menjadi strategi tingkat tinggi baru. Menggunakan Transformer yang pra-dilatih pada rantai tulis-ulang simbol dan pasca-dilatih pada tugas penalaran berbasis Trace, studi menemukan bahwa RL memecahkan masalah yang dihold-out lebih efektif daripada fine-tuning penolakan.
- RL mengatur ulang kompetensi primitif melalui mekanisme komposisional bertahap, pertama memperkuat reduksi primitif lalu menemukan prosedur komposisional yang valid.
- Prosedur komposisional mencakup komposisi berurutan yang meruntuhkan rantai terurut dan komposisi paralel yang menggabungkan kontraksi independen dalam satu langkah.
- Strategi-strategi ini digunakan kembali dan dikonsolidasikan ke dalam repertoar yang stabil daripada tetap menjadi sampel yang terisolasi.
- RL memusatkan eksplorasi ke dalam struktur yang valid dan dapat digunakan kembali, sedangkan fine-tuning penolakan menghasilkan banyak tulis-ulang seperti jalan pintas yang tidak valid.
Munculnya strategi komposisional digate oleh apakah pra-pelatihan mengorganisasi kompetensi primitif menjadi prosedur reduksi yang dapat dikompresi oleh RL. Model dasar menyediakan bahan prosedural yang lemah, yang dibangun oleh RL menjadi strategi tingkat tinggi yang andal.