저자들은 장기 호라이즌 작업에서 결과 보상의 희소성과 높은 분산을 해결하는 에전틱 강화 학습을 위한 밀도 신용 할당 방법인 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다. 롤아웃을 도구 호출 경계에서의 상태 전이로 표현하고 로그 비율 상태 값으로부터 액션별 보상을 유도함으로써, TRACE는 추가적인 비평가 모델이나 지도 미세 조정 단계 없이 효과적인 학습을 가능하게 합니다.

  • BrowseComp-Plus 벤치마크에서 TRACE는 Qwen3-4B의 점수를 7.2에서 35.6으로, Qwen3-30B-A3B를 8.4에서 42.6으로 향상시킵니다.
  • 이 방법은 순수한 강화 학습을 사용하여 기본 모델의 도구 사용 능력을 개선하며, 초기 지도 미세 조정이나 라이브 웹 데이터 학습의 필요성을 제거합니다.
  • 학습된 탐색 행동은 오픈 웹 벤치마크로 전이되며, 학습 곡선은 RL 학습 동안 더 빠른 수렴과 조기의 개선을 보여줍니다.

이 접근 방식은 장기 호라이즌 에이전트가 밀도 피드백으로부터 효과적으로 학습할 수 있게 하여, 전통적인 결과 기반 보상 신호와 비교하여 복잡한 검색 작업의 성능을 크게 향상시킵니다.