Artikel ini memberikan analisis teoritis tentang pencarian dalam konteks, memodelkannya sebagai inferensi perkiraan atas jejak penalaran di mana model dasar mendefinisikan prior dan refleksi diri memberikan umpan balik untuk pembaruan posterior. Penulis mempelajari kompleksitas pengambilan sampel saat inferensi yang dihasilkan, yang didefinisikan sebagai jumlah upaya berurutan yang diperlukan untuk mencapai probabilitas keberhasilan tinggi.
- Ketika refleksi secara andal melokalisasi kesalahan awal, pencarian dalam konteks menghasilkan peningkatan eksponensial dibandingkan model dasar, menyelesaikan masalah dengan tingkat lolos zero-shot yang sangat kecil secara eksponensial hanya menggunakan sejumlah upaya berurutan polinomial.
- Jika sifat ini gagal, pengkondisian pada upaya masa lalu tidak memberikan manfaat asimtotik dibandingkan pengambilan sampel paralel.
- Keuntungan ini robust dan dapat dipelajari: pembaruan posterior perkiraan cukup, dan pelatihan entropi silang pada rollouts pencarian memulihkan perilaku yang diperlukan dengan kompleksitas sampel polinomial.
- Di bawah abstraksi bertahap dari pembelajaran penguatan dengan hadiah yang dapat diverifikasi, ekstensi kebijakan optimal mengimplementasikan aturan pembobotan ulang posterior yang sama.
Penulis memvalidasi prediksi kualitatif kunci teori pada model penalaran besar nyata.