Os autores abordam o desafio do aprendizado por reforço inverso (IRL) introduzindo um algoritmo hierárquico de ensino de máquina que opera em múltiplos Processos de Decisão de Markov (MDP). Esta abordagem visa inferir funções de recompensa que se generalizem eficazmente apesar das modalidades heterogêneas de feedback e da dinâmica variável do ambiente.
- A análise teórica mostra que, no regime de dados ilimitados, as comparações impõem restrições globais estritamente mais fortes sobre as recompensas do que outras modalidades de feedback.
- O algoritmo proposto seleciona avidamente ambientes informativos para expor restrições de recompensa complementares antes de solicitar feedback de baixo custo dentro deles.
- Os resultados empíricos demonstram arrependimento substancialmente menor e generalização mais forte para ambientes não vistos em comparação com as linhas de base de ensino uniforme sob orçamentos de feedback idênticos.
Os autores consideram isso significativo porque demonstra a importância do ensino multi-ambiente e multimodal para aprender funções de recompensa robustas à dinâmica que se alinham com a intenção humana em diversos contextos operacionais.