Los autores abordan el desafío del aprendizaje por refuerzo inverso (IRL) introduciendo un algoritmo jerárquico de enseñanza de máquinas que opera a través de múltiples Procesos de Decisión de Markov (MDP). Este enfoque tiene como objetivo inferir funciones de recompensa que se generalicen bien en diversos contextos operativos, en lugar de sobreajustarse a entornos individuales.
- El análisis teórico muestra que en el régimen de datos ilimitados, las comparaciones imponen restricciones globales estrictamente más fuertes sobre las recompensas que otras modalidades de retroalimentación.
- El algoritmo selecciona ávidamente entornos informativos para exponer restricciones complementarias de recompensa y consulta estratégicamente retroalimentación de bajo costo dentro de ellos.
- Los resultados empíricos demuestran un arrepentimiento sustancialmente menor y una generalización más fuerte a entornos retenidos en comparación con las líneas base de enseñanza uniforme bajo presupuestos de retroalimentación idénticos.
El trabajo destaca la importancia de la enseñanza multi-entorno y multimodal para aprender funciones de recompensa robustas ante dinámicas en agentes autónomos.