शोधकर्ता SPyCE (Skill-Policy Co-evolution) का प्रस्ताव देते हैं, एक फ्रेमवर्क जो बहुआयामी तर्क ट्रेजेक्ट्रीज़ को एक पदानुक्रमित कौशल लाइब्रेरी में संघनित करता है जो पुनर्बल सीखने के दौरान पॉलिसी के साथ विकसित होती है। यह दृष्टिकोण मौजूदा तरीकों की सीमाओं को स्केलर इनामों और स्थिर मेमोरी रिकवरी से बचकर, इसके बजाय एक बंद लूप बनाकर संबोधित करता है जहाँ बेहतर पॉलिसियाँ बेहतर कौशल प्रदान करती हैं और विकसित होने वाले कौशल मजबूत प्रायर्स प्रदान करते हैं।
- निष्पादन कौशल स्थानीय दृश्य संचालन को कैप्चर करते हैं जबकि कार्यप्रवाह कौशल उच्च-स्तरीय टूल-उपयोग प्रायर्स को एन्कोड करते हैं।
- पॉलिसी रोलआउट्स को मार्गदर्शित करने के लिए पुनर्प्राप्त कौशल पर शर्त लगाती है, जबकि कौशल लाइब्रेरी पॉलिसी द्वारा उत्पन्न मूल्यवान रोलआउट्स का उपयोग करके अपडेट होती है।
- आठ बेंचमार्क पर प्रयोग दिखाते हैं कि SPyCE निरंतर RL-आधारित और मेमोरी-आधारित बेलाइन से बेहतर प्रदर्शन करता है।
- विश्लेषण पुष्टि करता है कि पदानुक्रमित कौशल डिज़ाइन और सह-विकास तंत्र दोनों फ्रेमवर्क की सफलता के लिए महत्वपूर्ण हैं।
लेखक इस संयुक्त कौशल-पॉलिसी अनुकूलन को सक्षम बहुआयामी एजेंट बनाने के लिए एक वादाजनक पैराडाइम मानते हैं।