作者提出了TRACE（Turn-level Reward Assignment via Credit Estimation），一种用于智能体强化学习的密集信用分配方法，旨在解决长视野任务中结果奖励的稀疏性和高方差问题。通过将 rollout 表示为工具调用边界处的状态转换，并从对数比率状态值推导每个动作的奖励，TRACE 能够在无需额外评论者或监督微调阶段的情况下实现有效训练。

  • 在 BrowseComp-Plus 基准测试中，TRACE 将 Qwen3-4B 的分数从 7.2 提升至 35.6，将 Qwen3-30B-A3B 从 8.4 提升至 42.6。
  • 该方法使用纯强化学习提升了基础模型的 tool-use 能力，消除了对冷启动监督微调或实时网络数据训练的需求。
  • 学到的搜索行为可迁移至开放网络基准测试，学习曲线显示在 RL 训练期间有更早的性能提升和更快的收敛速度。

这种方法使长视野智能体能够从密集反馈中有效学习，与传统仅基于结果的奖励信号相比，显著提升了复杂搜索任务的性能。