本記事は、コンテキスト内検索の理論的解析を提供し、これを推論トレース上の近似推論としてモデル化する。ここで基本モデルが事前分布を定義し、自己反射が事後分布の更新に対するフィードバックを提供する。著者は、高い成功確率を得るために必要な逐次的試行回数として定義される、結果としての推論時のサンプリング複雑性について研究している。

  • 反射が初期の誤りを確実に局所化する場合、コンテキスト内検索は基本モデルに対して指数関数的な改善をもたらし、ゼロショットのパスレートが指数関数的に小さい問題であっても、多項式数の逐次試行のみで解決する。
  • この性質が失敗する場合、過去の試行への条件付けは並列サンプリングに対して漸近的な利益をもたらさない。
  • これらの利益は堅牢かつ学習可能である：近似事後分布の更新で十分であり、検索ロールアウトに対する交差エントロピー訓練により、多項式サンプル複雑性で必要な挙動が回復される。
  • 検証可能な報酬を持つ強化学習の段階的抽象化の下では、最適な方策拡張は同じ事後重み付け則を実装する。

著者は、理論の主要な定性的予測を実際の大型推論モデルで検証した。