Este artigo analisa a eficiência estatística do aprendizado por reforço distribucional baseado em quantis, focando especificamente na avaliação distribucional de políticas para caracterizar a distribuição de retorno.
- Os autores constroem um estimador com base em um processo de decisão de Markov empírico assumindo acesso a um modelo generativo.
- Eles estabelecem um limite de erro não assintótico sob a métrica supremo W_infinity, mostrando que o erro de estimação escala como O(sqrt(m/n)).
- O estudo deriva a distribuição assintótica dos parâmetros de quantil e caracteriza o limite de eficiência semiparamétrica atingido pelo estimador.
- No regime de quantis divergentes, a estrutura de covariância limite corresponde ao limite de eficiência semiparamétrica do modelo não paramétrico.
- Um teorema de Berry-Esseen é estabelecido para funcionais suaves para fornecer uma base para inferência estatisticamente válida.
O trabalho demonstra que os estimadores baseados em quantis alcançam taxas de convergência paramétrica ótimas e permanecem assintoticamente eficientes em limites de dimensão infinita.