Para peneliti mengusulkan OpAgent, agen operator untuk navigasi web yang menggunakan pembelajaran penguatan daring untuk mengatasi pergeseran distribusi pada situs web dunia nyata. Sistem ini menggabungkan penyetelan halus multi-tugas hierarkis dengan mekanisme hadiah hibrida untuk mengoptimalkan kebijakan melalui interaksi langsung.
- Penyetelan halus multi-tugas hierarkis merangkum dataset primitif Perencanaan, Bertindak, dan Grounding untuk menetapkan kemampuan mengikuti instruksi yang kuat.
- RL Agentic daring memanfaatkan WebJudge untuk penilaian hasil dan Pohon Keputusan berbasis aturan untuk hadiah kemajuan guna mengurangi tantangan penugasan kredit.
- Kerangka kerja modular OpAgent mengoordinasikan Perencana, Grounder, Reflektor, dan Ringkasan untuk memungkinkan pemulihan kesalahan yang robust dan koreksi diri.
Model yang ditingkatkan RL mencapai tingkat keberhasilan 38,1% di WebArena, sementara kerangka kerja OpAgent penuh meningkatkan kinerja hingga tingkat keberhasilan state-of-the-art sebesar 71,6%.