Авторы решают задачу обратного обучения с подкреплением (IRL), предлагая иерархический алгоритм машинного обучения, работающий в рамках нескольких марковских процессов принятия решений (MDP). Этот подход направлен на вывод функций вознаграждения, которые эффективно обобщаются несмотря на гетерогенные модальности обратной связи и различную динамику среды.

  • Теоретический анализ показывает, что в режиме неограниченных данных сравнения накладывают строго более сильные глобальные ограничения на вознаграждение по сравнению с другими модальностями обратной связи.
  • Предложенный алгоритм жадно выбирает информативные среды для демонстрации дополнительных ограничений вознаграждения перед запросом низкозатратной обратной связи внутри них.
  • Эмпирические результаты демонстрируют существенно меньший регрет и более сильное обобщение на отложенных средах по сравнению с базовыми вариантами равномерного обучения при одинаковых бюджетах обратной связи.

Авторы считают это значимым, поскольку это демонстрирует важность многосредового и мультимодального обучения для вывода динамически устойчивых функций вознаграждения, согласованных с намерениями человека в различных операционных контекстах.