著者らは、長期ホライゾンのタスクにおける結果報酬のスパース性と高分散に対処する、アジェンティック強化学習のための密な信用付与方法であるTRACE（Turn-level Reward Assignment via Credit Estimation）を提案する。ロールアウトをツール呼び出し境界での状態遷移として表現し、対数比状態値からアクションごとの報酬を導出することで、TRACEは追加のクリティックスや教師ありファインチューニング段階なしで効果的なトレーニングを可能にする。

  • BrowseComp-Plusベンチマークにおいて、TRACEはQwen3-4Bのスコアを7.2から35.6へ、Qwen3-30B-A3Bを8.4から42.6へと向上させる。
  • この手法は、純粋な強化学習を用いてベースモデルのツール利用能力を改善し、コールドスタートの教師ありファインチューニングやライブウェブデータのトレーニングの必要性を排除する。
  • 学習された探索行動はオープンウェブベンチマークへ転移し、学習曲線はRLトレーニング中に早期の改善とより速い収束を示す。

このアプローチにより、長期ホライゾンエージェントは密なフィードバックから効果的に学習でき、従来の結果のみを報酬とするシグナルと比較して、複雑な検索タスクのパフォーマンスを大幅に向上させる。