TRACE mejora el uso de herramientas en agentes de horizonte largo mediante estimación de crédito por turno

Los autores proponen TRACE (Turn-level Reward Assignment via Credit Estimation), un método de asignación de crédito denso para el aprendizaje por refuerzo agéntico que aborda la escasez y alta varianza de las recompensas de resultado en tareas de horizonte largo. Al representar los rollouts como transiciones de estado en los límites de llamadas a herramientas y derivar recompensas por acción a partir de valores de estado con log-ratio, TRACE permite un entrenamiento efectivo sin críticos adicionales ni etapas de ajuste fino supervisado.

• En el benchmark BrowseComp-Plus, TRACE eleva las puntuaciones de Qwen3-4B de 7.2 a 35.6 y las de Qwen3-30B-A3B de 8.4 a 42.6.
• El método mejora la capacidad de uso de herramientas del modelo base mediante aprendizaje por refuerzo puro, eliminando la necesidad de ajuste fino supervisado en frío o entrenamiento con datos de la web en vivo.
• El comportamiento aprendido de búsqueda se transfiere a benchmarks de web abierta, mostrando curvas de aprendizaje con mejoras más tempranas y convergencia más rápida durante el entrenamiento RL.

Este enfoque permite que los agentes de horizonte largo aprendan eficazmente de una retroalimentación densa, mejorando significativamente el rendimiento en tareas de búsqueda complejas en comparación con las señales de recompensa tradicionales basadas únicamente en el resultado.