연구자들은 현실 세계 웹사이트의 분포 시프트를 극복하기 위해 온라인 강화 학습을 사용하는 웹 탐색용 연산자 에이전트인 OpAgent를 제안했습니다. 이 시스템은 계층적 다중 작업 파인튜닝과 하이브리드 보상 메커니즘을 결합하여 직접 상호작용을 통해 정책을 최적화합니다.

  • 계층적 다중 작업 파인튜닝은 계획, 행동 및 그라운딩 프리미티브의 데이터셋을 큐레이션하여 강력한 지시 따르기 능력을 확립합니다.
  • 온라인 에이전틱 RL은 결과 평가를 위한 WebJudge와 진행 보상용 규칙 기반 의사결정 트리를 활용하여 신용 할당 과제를 완화합니다.
  • 모듈형 OpAgent 프레임워크는 계획자, 그라운더, 반사기 및 요약자를 조정하여 견고한 오류 복구 및 자기 수정을 가능하게 합니다.

RL 강화 모델은 WebArena에서 38.1%의 성공률을 달성하는 반면, 전체 OpAgent 프레임워크는 성능을 최첨단 71.6%의 성공률로 끌어올립니다.