OpAgent 通过在线强化学习和模块化框架在 WebArena 上实现 71.6% 的成功率

研究人员提出了 OpAgent，这是一种用于网页导航的操作员智能体，它利用在线强化学习来克服真实网站中的分布偏移。该系统结合了分层多任务微调与混合奖励机制，通过直接交互优化策略。

• 分层多任务微调策划了规划、执行和接地原语的数据集，以建立强大的指令遵循能力。
• 在线智能体强化学习利用 WebJudge 进行结果评估，并利用基于规则的决策树提供进度奖励，以缓解信用分配挑战。
• 模块化 OpAgent 框架协调规划器、接地器、反思器和摘要器，以实现强大的错误恢复和自我纠正。

经过 RL 增强的模型在 WebArena 上取得了 38.1% 的成功率，而完整的 OpAgent 框架将性能提升至最先进的 71.6% 成功率。