Para penulis mengatasi tantangan pembelajaran penguatan invers (IRL) dengan memperkenalkan algoritma pengajaran mesin hierarkis yang beroperasi di berbagai Proses Keputusan Markov (MDPs). Pendekatan ini bertujuan untuk menyimpulkan fungsi hadiah yang bergeneralisasi dengan baik di berbagai konteks operasional, bukan overfitting ke lingkungan tunggal.
- Analisis teoretis menunjukkan bahwa dalam rezim data tak terbatas, perbandingan memberlakukan batasan global yang lebih ketat pada hadiah dibandingkan modalitas umpan balik lainnya.
- Algoritma secara serakah memilih lingkungan informatif untuk mengekspos batasan hadiah komplementer dan secara strategis menanyakan umpan balik berbiaya rendah di dalamnya.
- Hasil empiris menunjukkan regret yang jauh lebih rendah dan generalisasi yang lebih kuat ke lingkungan yang dihold-out dibandingkan dengan baseline pengajaran seragam di bawah anggaran umpan balik yang identik.
Karya ini menyoroti pentingnya pengajaran multi-lingkungan, multi-modal untuk mempelajari fungsi hadiah yang robust terhadap dinamika pada agen otonom.