Para penulis mengusulkan TRACE (Turn-level Reward Assignment via Credit Estimation), sebuah metode penugasan kredit padat untuk pembelajaran penguatan agentic yang mengatasi kelangkaan dan varians tinggi dari reward hasil dalam tugas jangka panjang. Dengan merepresentasikan rollout sebagai transisi keadaan pada batas panggilan alat dan menurunkan reward per aksi dari nilai keadaan rasio log, TRACE memungkinkan pelatihan efektif tanpa kritikus tambahan atau tahap fine-tuning terawasi.

  • Pada benchmark BrowseComp-Plus, TRACE meningkatkan skor Qwen3-4B dari 7.2 menjadi 35.6 dan Qwen3-30B-A3B dari 8.4 menjadi 42.6.
  • Metode ini meningkatkan kemampuan penggunaan alat model dasar menggunakan pembelajaran penguatan murni, menghilangkan kebutuhan akan fine-tuning terawasi cold-start atau pelatihan data web langsung.
  • Perilaku pencarian yang dipelajari bertransfer ke benchmark web terbuka, dengan kurva pembelajaran menunjukkan perbaikan lebih awal dan konvergensi lebih cepat selama pelatihan RL.

Pendekatan ini memungkinkan agen jangka panjang belajar secara efektif dari umpan balik padat, secara signifikan meningkatkan kinerja pada tugas pencarian kompleks dibandingkan dengan sinyal reward hanya hasil tradisional.