저자들은 역강화학습(IRL)의 과제를 해결하기 위해 여러 마르코프 결정 과정(MDP)에서 작동하는 계층적 기계 교육 알고리즘을 도입했습니다. 이 접근 방식은 이질적인 피드백 모달리티와 다양한 환경 동역학에도 불구하고 효과적으로 일반화되는 보상 함수를 추론하는 것을 목표로 합니다.
- 이론적 분석에 따르면 무제한 데이터 영역에서는 비교가 다른 피드백 모달리티보다 보상에 대해 엄격하게 더 강력한 글로벌 제약을 부과합니다.
- 제안된 알고리즘은 낮은 비용의 피드백을 쿼리하기 전에 상호 보완적인 보상 제약을 노출시키는 정보적인 환경을 탐욕스럽게 선택합니다.
- 실험 결과는 동일한 피드백 예산 하에서 균일한 교육 기준선과 비교하여 훨씬 더 낮은 후회와 홀드아웃 환경에 대한 더 강력한 일반화를 보여줍니다.
저자들은 이것이 다양한 운영 맥락 전반에 걸쳐 인간의 의도와 일치하는 동역학 견고한 보상 함수를 학습하기 위한 다중 환경, 다중 모달 교육의 중요성을 입증하기 때문에 이를 중요하게 여깁니다.