作者通过引入一种在多个马尔可夫决策过程(MDP)中运行的分层机器教学算法,解决了逆强化学习(IRL)的挑战。该方法旨在推断出尽管反馈模态异构且环境动力学各异,仍能有效泛化的奖励函数。

  • 理论分析表明,在无限数据情况下,比较对奖励施加的全局约束严格强于其他反馈模态。
  • 所提出的算法贪婪地选择信息丰富的环境以暴露互补的奖励约束,然后再在其中查询低成本反馈。
  • 实证结果表明,在相同的反馈预算下,与均匀教学基线相比,该方法表现出显著更低的遗憾值和更强的泛化能力(针对未见过的环境)。

作者认为这很重要,因为它证明了多环境、多模态教学对于学习与环境动力学鲁棒且符合人类意图的奖励函数的重要性,这些函数可适应不同的操作上下文。