Les auteurs abordent le défi de l'apprentissage par renforcement inverse (IRL) en introduisant un algorithme d'enseignement machine hiérarchique qui opère sur plusieurs processus décisionnels markoviens (MDPs). Cette approche vise à inférer des fonctions de récompense qui se généralisent bien dans divers contextes opérationnels plutôt que de surajuster à des environnements uniques.
- L'analyse théorique montre que dans le régime de données illimitées, les comparaisons imposent des contraintes globales strictement plus fortes sur les récompenses que les autres modalités de feedback.
- L'algorithme sélectionne avidement des environnements informatifs pour exposer des contraintes de récompense complémentaires et interroge stratégiquement un feedback à faible coût au sein de ceux-ci.
- Les résultats empiriques démontrent un regret substantiellement plus faible et une généralisation plus forte aux environnements non vus par rapport aux bases d'enseignement uniforme sous des budgets de feedback identiques.
Ce travail met en lumière l'importance de l'enseignement multi-environnement et multimodal pour apprendre des fonctions de récompense robustes face à la dynamique dans les agents autonomes.