Авторы предлагают TRACE (Turn-level Reward Assignment via Credit Estimation), метод плотного распределения кредита для агентного обучения с подкреплением, который решает проблему разреженности и высокой дисперсии наград за результат в задачах с длинным горизонтом. Представляя прогнаты как переходы состояний на границах вызовов инструментов и выводя награды за каждое действие из логарифмического отношения значений состояний, TRACE позволяет эффективно обучать модель без дополнительных критиков или этапов супервизированного дообучения.

  • На бенчмарке BrowseComp-Plus TRACE повышает результаты Qwen3-4B с 7.2 до 35.6, а Qwen3-30B-A3B — с 8.4 до 42.6.
  • Метод улучшает способность базовой модели использовать инструменты исключительно за счет обучения с подкреплением, устраняя необходимость в холодном старте с супервизированным дообучением или обучении на данных из живой сети.
  • Наученное поведение поиска переносится на бенчмарки открытой сети, при этом кривые обучения демонстрируют более раннее улучшение и более быструю сходимость во время тренировки RL.

Этот подход позволяет агентам с длинным горизонтом эффективно обучаться на основе плотной обратной связи, значительно повышая производительность в сложных задачах поиска по сравнению с традиционными сигналами наград, основанными только на результате.