Para penulis mengatasi tantangan pembelajaran penguatan invers (IRL) dengan memperkenalkan algoritma pengajaran mesin hierarkis yang beroperasi di berbagai Proses Keputusan Markov (MDP). Pendekatan ini bertujuan untuk menyimpulkan fungsi hadiah yang menggeneralisasi secara efektif meskipun modalitas umpan balik heterogen dan dinamika lingkungan yang bervariasi.
- Analisis teoretis menunjukkan bahwa dalam rezim data tanpa batas, perbandingan memberlakukan batasan global yang lebih ketat pada hadiah daripada modalitas umpan balik lainnya.
- Algoritma yang diusulkan secara serakah memilih lingkungan yang informatif untuk mengekspos batasan hadiah pelengkap sebelum meminta umpan balik berbiaya rendah di dalamnya.
- Hasil empiris menunjukkan regret yang jauh lebih rendah dan generalisasi yang lebih kuat ke lingkungan yang disimpan dibandingkan dengan baseline pengajaran seragam di bawah anggaran umpan balik yang identik.
Para penulis menganggap ini signifikan karena hal ini menunjukkan pentingnya pengajaran multi-lingkungan dan multi-modal untuk mempelajari fungsi hadiah yang robust terhadap dinamika yang selaras dengan niat manusia di berbagai konteks operasional.