Os autores propõem o TRACE (Turn-level Reward Assignment via Credit Estimation), um método de atribuição de crédito denso para aprendizado por reforço agêntico que aborda a esparsidade e a alta variância das recompensas de resultado em tarefas de longo prazo. Ao representar os rollouts como transições de estado nas fronteiras de chamadas de ferramentas e derivar recompensas por ação a partir de valores de estado com log-ratio, o TRACE permite treinamento eficaz sem críticos adicionais ou estágios de ajuste fino supervisionado.
- No benchmark BrowseComp-Plus, o TRACE eleva as pontuações do Qwen3-4B de 7.2 para 35.6 e do Qwen3-30B-A3B de 8.4 para 42.6.
- O método melhora a capacidade de uso de ferramentas do modelo base usando aprendizado por reforço puro, eliminando a necessidade de ajuste fino supervisionado em cold-start ou treinamento com dados da web ao vivo.
- O comportamento aprendido de transferência se aplica a benchmarks de web aberta, com curvas de aprendizado mostrando melhoria mais precoce e convergência mais rápida durante o treinamento RL.
Esta abordagem permite que agentes de longo prazo aprendam eficazmente a partir de feedback denso, impulsionando significativamente o desempenho em tarefas complexas de busca em comparação com sinais de recompensa tradicionais baseados apenas no resultado.