शोध जांचता है कि क्या प्रबलन सीखने (RL) पोस्ट-ट्रेनिंग केवल अंतर्निहित प्राथमिक कौशल को बढ़ाता है या उन्हें नई उच्च-स्तरीय रणनीतियों में संयोजित करता है। एक Transformer का उपयोग करते हुए जो प्रतीम पुनर्लेखन श्रृंखलाओं पर पूर्व-प्रशिक्षित था और Trace-आधारित तर्क कार्य पर पोस्ट-ट्रेन किया गया था, अध्ययन पाता है कि RL अस्वीकार सूक्ष्म-समायोजन की तुलना में अधिक प्रभावी ढंग से रखा हुआ समस्याओं को हल करता है।
- RL एक चरणबद्ध संयोजक तंत्र के माध्यम से प्राथमिक योग्यता को पुनर्गठित करता है, पहले प्राथमिक लघुकरणों को मजबूत करता है और फिर वैध संयुक्त प्रक्रियाओं की खोज करता है।
- संयुक्त प्रक्रियाओं में क्रमागत संयोजन शामिल हैं जो आदेशित श्रृंखलाओं को सिकोड़ते हैं और समानांतर संयोजन जो स्वतंत्र संकुचनों को एक ही चरण में जोड़ते हैं।
- इन रणनीतियों का पुन: उपयोग किया जाता है और उन्हें स्थिर संग्रह में एकीकृत किया जाता है, न कि अलग-थलग नमूनों के रूप में रहने दिया जाता है।
- RL वैध पुन: उपयोग योग्य संरचनाओं में खोज को केंद्रित करता है, जबकि अस्वीकार सूक्ष्म-समायोजन कई अवैध शॉर्टकट-जैसे पुनर्लेखन उत्पन्न करता है।
संयोजक रणनीतियों का उदय इस बात पर निर्भर करता है कि पूर्व-प्रशिक्षण प्राथमिक योग्यता को ऐसे लघुकरण प्रक्रियाओं में संगठित करता है जिन्हें RL संपीड़ित कर सकता है। आधार मॉडल कमजोर प्रक्रियात्मक अवयव प्रदान करता है, जिनसे RL विश्वसनीय उच्च-स्तरीय रणनीतियाँ बनाता है।