يتناول المؤلفون تحدي التعلم التعزيزي العكسي (IRL) من خلال تقديم خوارزمية تعليم آلي هرمية تعمل عبر عمليات قرار ماركوف متعددة (MDPs). يهدف هذا النهج إلى استنتاج دوال مكافأة تعمم جيدًا عبر سياقات تشغيلية متنوعة بدلاً من الإفراط في التخصيص لبيئات فردية.
- يُظهر التحليل النظري أنه في نظام البيانات غير المحدودة، تفرض المقارنات قيودًا عالمية أقوى بكثير على المكافآت مقارنة بوسائل التغذية الراجعة الأخرى.
- تختار الخوارزمية بيئات غنية بالمعلومات بشكل جشع لتسليط الضوء على قيود مكافأة تكميلية وتستعلم استراتيجيًا عن تغذية راجعة منخفضة التكلفة ضمنها.
- تُظهر النتائج التجريبية ندمًا أقل بكثير وتعميمًا أقوى للبيئات المحجوبة مقارنة بأساسيات التعليم الموحدة تحت نفس ميزانيات التغذية الراجعة.
تسلط هذه الدراسة أهمية التعليم متعدد البيئات ومتعدد الوسائط لتعلم دوال مكافأة قوية ضد الديناميكيات في الوكلاء المستقلين.