Os autores abordam o desafio do aprendizado por reforço inverso (IRL) introduzindo um algoritmo hierárquico de ensino de máquina que opera em múltiplos Processos de Decisão de Markov (MDP). Esta abordagem visa inferir funções de recompensa que se generalizam bem em diversos contextos operacionais, em vez de sofrer overfitting em ambientes individuais.
- A análise teórica mostra que no regime de dados ilimitados, as comparações impõem restrições globais estritamente mais fortes sobre as recompensas do que outras modalidades de feedback.
- O algoritmo seleciona gananciosamente ambientes informativos para expor restrições complementares de recompensa e consulta estrategicamente feedback de baixo custo dentro deles.
- Os resultados empíricos demonstram um arrependimento substancialmente menor e uma generalização mais forte para ambientes retidos em comparação com linhas de base de ensino uniforme sob orçamentos de feedback idênticos.
O trabalho destaca a importância do ensino multi-ambiente e multimodal para aprender funções de recompensa robustas à dinâmica em agentes autônomos.