Cet article analyse l'efficacité statistique de l'apprentissage par renforcement distributionnel basé sur les quantiles, en se concentrant spécifiquement sur l'évaluation de politique distributionnelle pour caractériser la distribution du retour.
- Les auteurs construisent un estimateur basé sur un processus de décision markovien empirique en supposant l'accès à un modèle génératif.
- Ils établissent une borne d'erreur non asymptotique sous la métrique supremum W_infinity, montrant que l'erreur d'estimation évolue comme O(sqrt(m/n)).
- L'étude déduit la distribution asymptotique des paramètres de quantile et caractérise la borne d'efficacité semi-paramétrique atteinte par l'estimateur.
- Dans le régime de quantiles divergents, la structure de covariance limite correspond à la borne d'efficacité semi-paramétrique du modèle non paramétrique.
- Un théorème de Berry-Esseen est établi pour les fonctionnelles lisses afin de fournir une base pour une inférence statistiquement valide.
Le travail démontre que les estimateurs basés sur les quantiles atteignent des taux de convergence paramétriques optimaux et restent asymptotiquement efficaces dans les limites de dimension infinie.