يقترح المؤلفون TurnOPD، وهي استراتيجية ميزانية على مستوى الدور مصممة لمعالجة عدم الكفاءة في التقطير على-policy العادي (OPD) للمهام الوكيلة طويلة الأفق. تقدم الطريقة ميزانية عمق rollout تكيفية وميزانية خسارة طبيعية بالدور تدريجياً لتحسين موارد التدريب.
- غالباً ما تضيع rollouts الأفق الكامل الموارد الزمنية الفعلية في الأدوار الذيلية التي توفر إشراف KL ضعيفاً وصاخباً.
- تركّز أهداف KL على مستوى المسار معظم الخسارة على الرموز الضحلة، مما يترك أدوار القرار الأعمق غير مدربة بشكل كافٍ.
- يستخدم TurnOPD إحصائيات الدور المستندة إلى الاستشعار لتحديد طول rollout وينقل تدريجياً وزن KL من الإشراف على مستوى الرمز إلى إشراف متوازن بالدور.
تُظهر التجارب على ALFWorld وWebShop وMulti-Hop Search أن TurnOPD يحقق دقة تحقق أفضل تحت ميزانيات تدريب زمنية فعلية مساوية مقارنة بـ OPD العادي.