本文分析了基于分位数的分布强化学习的统计效率，特别关注用于表征回报分布的分布策略评估。

  • 作者假设可以访问生成模型，并基于经验马尔可夫决策过程构建估计量。
  • 他们在上确界 W_infinity 度量下建立了非渐近误差界，表明估计误差按 O(sqrt(m/n)) 缩放。
  • 研究推导了分位数参数的渐近分布，并表征了该估计量达到的半参数效率界。
  • 在发散的量化子区间中，极限协方差结构与非参数模型的半参数效率界相匹配。
  • 为平滑泛函建立了Berry-Esseen定理，为统计上有效的推断提供了基础。

这项工作表明，基于分位数的估计量实现了最优的参数收敛率，并在无限维极限下保持渐近高效。