研究者らは、現実世界のウェブサイトの分布シフトに対処するためにオンライン強化学習を使用するウェブナビゲーション用のオペレータエージェントであるOpAgentを提案した。このシステムは、階層型マルチタスクファインチューニングとハイブリッド報酬機構を組み合わせて、直接相互作用を通じてポリシーを最適化する。

  • 階層型マルチタスクファインチューニングは、計画、行動、グラウンディングのプリミティブのデータセットを作成し、強力な指示従順能力確立する。
  • オンラインエージェントRLは、結果評価用のWebJudgeと進捗報酬用のルールベース決定木を利用し、信用配分課題を緩和する。
  • モジュラーOpAgentフレームワークは、プランナー、グラウンダー、リフレクター、サマライザーを調整し、堅牢なエラー回復と自己修正を可能にする。

RL強化モデルはWebArenaで38.1%の成功率を達成する一方、完全なOpAgentフレームワークはパフォーマンスを最先端の71.6%の成功率まで引き上げる。