Benchmark · agentic
WebArena
WebArena teste si un agent web autonome peut accomplir de vraies tâches en plusieurs étapes sur un ensemble de sites réalistes et auto-hébergés — boutique en ligne, un forum et un système de gestion de contenu (CMS). Sa métrique est le task success rate (taux de réussite des tâches) : le pourcentage de tâches que l'agent termine correctement.
En savoir plus
- Exemple
- Une tâche représentative : « trouver l'article le moins cher d'une catégorie et en ajouter deux au panier », que l'agent doit réaliser en naviguant, cliquant et saisissant du texte sur le site réel.
- Notation
- La métrique est le taux de réussite des tâches : le nombre de tâches accomplies divisé par le nombre total de tâches, exprimé en pourcentage.
- Vérification
- Chaque tâche est fournie avec un vérificateur programmatique qui contrôle le résultat automatiquement, soit en le comparant à la réponse attendue, soit en inspectant l'état final du site, de sorte que l'évaluation est faite par la machine et non par un humain.
- Pourquoi c'est important
- Il montre si les agents LLM peuvent réellement piloter de vrais sites web de bout en bout — un test plus difficile et plus concret que les tâches web à une seule étape ou synthétiques —, ce qui en fait une référence clé pour l'automatisation web par agents.
Exemple résolu
Tâche
Vous êtes un agent web autonome dans l'environnement GitLab auto-hébergé de WebArena : vous observez l'arbre d'accessibilité (accessibility tree) de la page et, à chaque étape, vous émettez une action de l'espace d'actions de WebArena (par exemple
click [id], type [id] [text] [enter], goto [url], stop [answer]). Objectif : créer une nouvelle issue intitulée Bug: login button unresponsive dans le dépôt a11yproject/a11yproject.com et vous l'attribuer.Solution
goto [http://gitlab.webarena/a11yproject/a11yproject.com/-/issues/new]
type [1023] [Bug: login button unresponsive] [0]
click [1187] # open the Assignee dropdown
click [1203] # choose "Assign to me"
click [1250] # click the "Create issue" button
stop [N/A]Explication
La trajectoire ouvre le formulaire de nouvelle issue, saisit le titre exact, se l'attribue via le menu d'assigné puis valide ;
stop [N/A] termine l'épisode car la tâche modifie l'état au lieu de renvoyer une valeur. L'évaluateur program_html de WebArena recharge l'issue créée et vérifie le DOM de façon fonctionnelle — le titre égale la chaîne et l'assigné égale l'utilisateur connecté —, de sorte que les résultats approximatifs obtiennent 0.