Les auteurs abordent le défi de l'apprentissage par renforcement inverse (IRL) en introduisant un algorithme d'enseignement machine hiérarchique qui opère sur plusieurs processus décisionnels markoviens (MDP). Cette approche vise à inférer des fonctions de récompense qui se généralisent efficacement malgré des modalités de feedback hétérogènes et des dynamiques environnementales variables.
- L'analyse théorique montre que dans le régime de données illimitées, les comparaisons imposent des contraintes globales strictement plus fortes sur les récompenses que d'autres modalités de feedback.
- L'algorithme proposé sélectionne avidement des environnements informatifs pour exposer des contraintes de récompense complémentaires avant de demander un feedback à faible coût au sein de ceux-ci.
- Les résultats empiriques démontrent un regret substantiellement plus faible et une généralisation plus forte aux environnements non vus par rapport aux bases d'enseignement uniforme sous des budgets de feedback identiques.
Les auteurs considèrent cela comme significatif car il démontre l'importance de l'enseignement multi-environnement et multimodal pour apprendre des fonctions de récompense robustes face à la dynamique qui s'alignent sur l'intention humaine dans divers contextes opérationnels.