Авторы решают задачу обратного обучения с подкреплением (IRL), предлагая иерархический алгоритм машинного обучения, работающий в рамках нескольких процессов принятия решений Маркова (MDP). Этот подход направлен на выявление функций вознаграждения, которые хорошо обобщаются в различных операционных контекстах, а не переобучаются на отдельных средах.
- Теоретический анализ показывает, что в режиме с неограниченным объемом данных сравнения накладывают строго более сильные глобальные ограничения на вознаграждения по сравнению с другими модальностями обратной связи.
- Алгоритм жадно выбирает информативные среды для выявления дополнительных ограничений вознаграждения и стратегически запрашивает низкозатратную обратную связь в них.
- Эмпирические результаты демонстрируют существенно меньший регрет и более сильное обобщение на отложенных средах по сравнению с базовыми вариантами равномерного обучения при одинаковых бюджетах обратной связи.
Работа подчеркивает важность многопользовательского, мультимодального обучения для изучения динамически устойчивых функций вознаграждения в автономных агентах.