Este artículo proporciona un análisis teórico de la búsqueda en contexto, modelándola como inferencia aproximada sobre trazos de razonamiento donde el modelo base define una priori y la autorreflexión proporciona retroalimentación para actualizaciones posteriores. Los autores estudian la complejidad de muestreo en tiempo de inferencia resultante, definida como el número de intentos secuenciales necesarios para lograr una alta probabilidad de éxito.
- Cuando las reflexiones localizan de manera fiable los errores iniciales, la búsqueda en contexto produce mejoras exponenciales respecto al modelo base, resolviendo problemas con tasas de acierto cero-shot exponencialmente pequeñas utilizando solo un número polinomial de intentos secuenciales.
- Si esta propiedad falla, condicionar sobre intentos pasados no ofrece ningún beneficio asintótico frente al muestreo paralelo.
- Estas ganancias son robustas y aprendibles: las actualizaciones posteriores aproximadas son suficientes, y el entrenamiento por entropía cruzada en rollout de búsqueda recupera el comportamiento requerido con complejidad de muestra polinomial.
- Bajo una abstracción por etapas del aprendizaje por refuerzo (reinforcement learning) con recompensas verificables, la extensión óptima de la política implementa la misma regla de reponderación posterior.
Los autores validan predicciones cualitativas clave de la teoría en modelos grandes reales de razonamiento.