Los autores abordan el desafío del aprendizaje inverso por refuerzo (IRL) introduciendo un algoritmo jerárquico de enseñanza de máquinas que opera a través de múltiples Procesos de Decisión de Markov (MDP). Este enfoque tiene como objetivo inferir funciones de recompensa que se generalicen eficazmente a pesar de las modalidades heterogéneas de retroalimentación y la dinámica variable del entorno.
- El análisis teórico muestra que, en el régimen de datos ilimitados, las comparaciones imponen restricciones globales estrictamente más fuertes sobre las recompensas que otras modalidades de retroalimentación.
- El algoritmo propuesto selecciona ávidamente entornos informativos para exponer restricciones de recompensa complementarias antes de solicitar retroalimentación de bajo costo dentro de ellos.
- Los resultados empíricos demuestran un arrepentimiento sustancialmente menor y una generalización más fuerte a entornos no vistos en comparación con las líneas base de enseñanza uniforme bajo presupuestos de retroalimentación idénticos.
Los autores consideran esto significativo porque demuestra la importancia de la enseñanza multi-entorno y multimodal para aprender funciones de recompensa robustas frente a la dinámica que se alinean con la intención humana en diversos contextos operativos.