लेखकों ने TurnOPD प्रस्तावित किया, जो एक टर्न-स्तर बजटिंग रणनीति है जो लॉन्ग-होराइजन एजेंटिक कार्यों में वैनिला ऑन-पोलिसी डिस्टिलेशन (OPD) की अक्षमताओं को दूर करने के लिए डिज़ाइन की गई है। विधि प्रशिक्षण संसाधनों को अनुकूलित करने के लिए एडाप्टिव रोलआउट-डिप्थ बजटिंग और प्रोग्रेसिव टर्न-नॉर्मलाइज्ड लॉस बजटिंग पेश करती है।
- फुल-होराइजन रोलआउट अक्सर वॉल-क्लॉक संसाधनों को उन टर्न्स पर व्यर्थ करते हैं जो कमजोर और शोर वाले KL सुपरविजन प्रदान करते हैं।
- ट्रैजेक्टरी-लेवल KL उद्देश्य अधिकांश लॉस को शेल्फ़ टोकन पर केंद्रित करते हैं, जिससे गहरे निर्णय टर्न्स अंडर-ट्रेन्ड रह जाते हैं।
- TurnOPD रोलआउट लंबाई निर्धारित करने के लिए प्रोब-आधारित टर्न सांख्यिकी का उपयोग करता है और धीरे-धीरे KL वेटिंग को टोकन-लेवल से टर्न-बैलेंस्ड सुपरविजन की ओर स्थानांतरित करता है।
ALFWorld, WebShop, और Multi-Hop Search पर प्रयोग दिखाते हैं कि TurnOPD वैनिला OPD की तुलना में समान वॉल-क्लॉक ट्रेनिंग बजट के तहत श्रेष्ठ वैलिडेशन सटीकता प्राप्त करता है।