Les chercheurs proposent OpAgent, un agent opérateur pour la navigation web qui utilise l'apprentissage par renforcement en ligne pour surmonter les décalages de distribution sur les sites web réels. Le système combine un affinage multi-tâches hiérarchique avec un mécanisme de récompense hybride pour optimiser la politique via une interaction directe.
- L'affinage multi-tâches hiérarchique crée des ensembles de données de primitives de Planification, d'Action et d'Ancrage pour établir de solides capacités de suivi d'instructions.
- Le RL agissant en ligne utilise un WebJudge pour l'évaluation des résultats et un Arbre de décision basé sur des règles pour les récompenses de progression afin d'atténuer les défis d'attribution de crédit.
- Le cadre modulaire OpAgent orchestre un Planificateur, un Ancrer, un Reflecteur et un Résumeur pour permettre une récupération robuste des erreurs et l'auto-correction.
Le modèle amélioré par le RL atteint un taux de réussite de 38,1 % sur WebArena, tandis que le cadre OpAgent complet élève les performances à un taux de réussite de pointe de 71,6 %.