Este artículo analiza la eficiencia estadística del aprendizaje por refuerzo distribucional basado en cuantiles, centrándose específicamente en la evaluación distribucional de políticas para caracterizar la distribución de retorno.
- Los autores construyen un estimador basado en un proceso de decisión de Markov empírico asumiendo acceso a un modelo generativo.
- Establecen una cota de error no asintótica bajo la métrica supremo W_infinity, mostrando que el error de estimación escala como O(sqrt(m/n)).
- El estudio deriva la distribución asintótica de los parámetros cuantiles y caracteriza la cota de eficiencia semiparamétrica alcanzada por el estimador.
- En el régimen de cuantiles divergentes, la estructura de covarianza límite coincide con la cota de eficiencia semiparamétrica del modelo no paramétrico.
- Se establece un teorema de Berry-Esseen para funcionales suaves para proporcionar una base para una inferencia estadísticamente válida.
El trabajo demuestra que los estimadores basados en cuantiles alcanzan tasas de convergencia paramétricas óptimas y permanecen asintóticamente eficientes en límites de dimensión infinita.