Les auteurs proposent TRACE (Turn-level Reward Assignment via Credit Estimation), une méthode d'attribution de crédit dense pour l'apprentissage par renforcement agentique qui traite la parcimonie et la haute variance des récompenses de résultat dans les tâches à long terme. En représentant les rollouts comme des transitions d'état aux limites d'appel d'outil et en déduisant les récompenses par action à partir des valeurs d'état de rapport logarithmique, TRACE permet un entraînement efficace sans critiques supplémentaires ni étapes de réglage fin supervisé.
- Sur le benchmark BrowseComp-Plus, TRACE augmente les scores de Qwen3-4B de 7.2 à 35.6 et ceux de Qwen3-30B-A3B de 8.4 à 42.6.
- La méthode améliore la capacité d'utilisation d'outils du modèle de base en utilisant uniquement l'apprentissage par renforcement, éliminant le besoin de réglage fin supervisé de démarrage à froid ou d'entraînement sur des données web en direct.
- Le comportement de recherche appris se transfère aux benchmarks web ouverts, les courbes d'apprentissage montrant une amélioration plus précoce et une convergence plus rapide pendant l'entraînement RL.
Cette approche permet aux agents à long terme d'apprendre efficacement à partir de retours denses, améliorant significativement les performances sur des tâches de recherche complexes par rapport aux signaux de récompense basés uniquement sur le résultat.