著者らは、階層的な機械教育アルゴリズムを導入することで、逆強化学習（IRL）の課題に取り組んでいます。このアルゴリズムは複数のマルコフ決定過程（MDP）で動作します。このアプローチは、異質なフィードバックモーダリティと異なる環境動態にもかかわらず、効果的に一般化する報酬関数を推論することを目的としています。

  • 理論的解析により、無制限のデータ領域では、比較が他のフィードバックモーダリティよりも報酬に対して厳密に強いグローバル制約を課すことが示されています。
  • 提案されたアルゴリズムは、それらの中で低コストのフィードバックを照会する前に、相補的な報酬制約を露出させる情報豊富な環境を貪欲に選択します。
  • 実証結果は、同じフィードバック予算の下で、均等な教育ベースラインと比較して、大幅に低いレグレットと保持された環境へのより強い一般化を示しています。

著者らはこれを重要視しています。なぜなら、これは多様な運用文脈全体で人間の意図と一致する動態に堅牢な報酬関数を学習するためのマルチ環境、マルチモーダル教育の重要性を実証しているからです。