저자들은 여러 마르코프 결정 과정(MDPs)에서 작동하는 계층적 기계 교육 알고리즘을 도입하여 역강화학습(IRL)의 과제에 대응했습니다. 이 접근 방식은 단일 환경에 과적합되는 것이 아니라 다양한 운영 맥락 전반에 걸쳐 잘 일반화되는 보상 함수를 추론하는 것을 목표로 합니다.
- 이론적 분석에 따르면 무제한 데이터 영역에서 비교는 다른 피드백 모달리티보다 보상에 대해 엄격하게 더 강력한 글로벌 제약을 부과합니다.
- 알고리즘은 보완적인 보상 제약을 노출하기 위해 정보적인 환경을 탐욕스럽게 선택하고, 그 안에서 저비용 피드백을 전략적으로 쿼리합니다.
- 실험 결과는 동일한 피드백 예산 하에서 균일 교육 기반과 비교하여 현저히 낮은 레그렛과 홀드아웃 환경에 대한 더 강력한 일반화를 보여줍니다.
이 연구는 자율 에이전트에서 역동성 견고한 보상 함수를 학습하기 위한 다중 환경, 다중 모달 교육의 중요성을 강조합니다.