يقترح المؤلفون طريقة TRACE (Turn-level Reward Assignment via Credit Estimation)، وهي طريقة كثيفة لتعيين الائتمان للتعلم التعزيزي الوكيل يعالج ندرة وتباين المكافآت الناتجة في المهام طويلة المدى. من خلال تمثيل المسارات كتحويلات حالة عند حدود استدعاء الأدوات واستنتاج مكافآت لكل إجراء من قيم الحالة النسبية اللوغاريتمية، تتيح TRACE تدريبًا فعالاً دون حاجة إلى نقّاد إضافيين أو مراحل ضبط دقيق خاضع للإشراف.
- على معيار BrowseComp-Plus، يرفع TRACE درجات Qwen3-4B من 7.2 إلى 35.6 وQwen3-30B-A3B من 8.4 إلى 42.6.
- تحسّن الطريقة قدرة النموذج الأساسي على استخدام الأدوات باستخدام التعلم التعزيزي النقي، مما يلغي الحاجة إلى ضبط دقيق خاضع للإشراف في البداية أو تدريب بيانات الويب المباشر.
- ينتقل سلوك البحث المتعلم إلى معايير الويب المفتوحة، حيث تُظهر منحنيات التعلم تحسناً مبكراً وتقارباً أسرع أثناء التدريب التعزيزي.
تتيح هذه النهج للوكلاء طويلي المدى التعلم بفعالية من التغذية الراجعة الكثيفة، مما يعزز الأداء بشكل كبير في مهام البحث المعقدة مقارنة بإشارات المكافآت الناتجة التقليدية.