本論文は、量子化に基づく分布強化学習の統計的効率性を分析し、特にリターン分布を特徴づけるための分布政策評価に焦点を当てている。

  • 著者は生成モデルへのアクセスを仮定した経験的マルコフ意思決定プロセスに基づいて推定量を構築する。
  • 上限W_infinity計量の下で非漸近誤差限界を示し、推定誤差がO(sqrt(m/n))にスケールすることを示す。
  • 本研究は量子化パラメータの漸近分布を導出し、推定量が達成する半非パラメトリック効率限界を特徴づける。
  • 発散する量子化レジームにおいて、極限共分散構造は非パラメトリックモデルの半非パラメトリック効率限界と一致する。
  • 統計的に妥当な推論のための基盤を提供するために、滑らかな関数に対するBerry-Esseen定理が確立される。

この研究は、量子化に基づく推定量が最適なパラメトリック収束率を達成し、無限次元の極限でも漸近効率性を維持することを示している。