تتحقق البحث مما إذا كان التدريب اللاحق للتعلم المعزز (RL) يضخم ببساطة المهارات الأولية الكامنة أم يركبها في استراتيجيات أعلى مستوى جديدة. باستخدام محول (Transformer) مُدرب مسبقًا على سلاسل إعادة كتابة الرموز ومُدرَّب لاحقًا على مهمة استدلال قائمة على Trace، وجدت الدراسة أن RL يحل المشكلات المحجوبة بشكل أكثر فعالية من الضبط الدقيق بالرفض.
- يعيد RL تنظيم الكفاءة الأولية عبر آلية تركيبية مرحلية، أولاً بتقوية الاختزالات الأولية ثم اكتشاف إجراءات مركبة صالحة.
- تشمل الإجراءات المركبة التراكيب المتسلسلة التي تطوي السلاسل المرتبة والتراكيب المتوازية التي تجمع بين الانكماش المستقل في خطوة واحدة.
- تُعاد استخدام هذه الاستراتيجيات وتُدمج في مجموعة مستقرة بدلاً من أن تبقى عينات معزولة.
- يركز RL الاستكشاف في بنية صالحة وقابلة لإعادة الاستخدام، بينما ينتج الضبط الدقيق بالرفض العديد من إعادة الكتابة الشبيهة بالمخارج القصيرة غير الصالحة.
يتم تحفيز ظهور الاستراتيجيات التركيبية بناءً على ما إذا كان التدريب المسبق ينظم الكفاءة الأولية في إجراءات اختزال يمكن لـ RL ضغطها. يوفر النموذج الأساسي مكونات إجرائية ضعيفة، يبني منها RL استراتيجيات أعلى مستوى موثوقة.