著者らは、複数のマルコフ決定過程（MDPs）にわたって動作する階層的機械指導アルゴリズムを導入することで、逆強化学習（IRL）の課題に対処している。このアプローチは、単一環境に過剰適合するのではなく、多様な運用文脈全体でよく一般化する報酬関数を推論することを目的としている。

  • 理論的解析により、無制限データ領域では、比較が他のフィードバックモダリティよりも報酬に対して厳密に強いグローバル制約を課すことが示された。
  • アルゴリズムは、補完的な報酬制約を露出させるために情報的な環境を貪欲に選択し、その中で低コストのフィードバックを戦略的に照会する。
  • 実証結果は、同一のフィードバック予算の下で、均等指導ベースラインと比較して、大幅に低いレグレットと保持された環境へのより強い一般化を示している。

本研究は、自律エージェントにおけるダイナミクス堅牢な報酬関数を学習するためのマルチ環境・マルチモーダル指導の重要性を浮き彫りにしている。