作者通过引入一种在多个马尔可夫决策过程（MDP）中运行的分层机器教学算法，解决了逆强化学习（IRL）的挑战。该方法旨在推断出能够在多样化操作环境中良好泛化的奖励函数，而不是过拟合到单一环境。

  • 理论分析表明，在无限数据情况下，比较对奖励施加的严格全局约束比其他反馈模态更强。
  • 该算法贪婪地选择信息丰富的环境以暴露互补的奖励约束，并在其中战略性地查询低成本反馈。
  • 实证结果表明，在相同的反馈预算下，与均匀教学基线相比，该方法表现出显著更低的遗憾值和更强的泛化能力（针对未见环境）。

这项工作强调了多环境、多模态教学对于学习自主代理中动态鲁棒奖励函数的重要性。