Benchmark · agentic

VisualWebArena

0 résultats 0 modèles

VisualWebArena mesure dans quelle mesure des agents autonomes multimodaux (capables de vision) accomplissent des tâches réalistes et ancrées visuellement sur de vrais sites web auto-hébergés (Classifieds, Shopping, Reddit) ; la performance est rapportée sous forme de taux de réussite global sur ses 910 tâches.

Exemple: Une tâche de navigation conditionnée par une image : à partir d'une image de référence d'un produit, l'agent doit parcourir un site de petites annonces ou d'achats pour trouver l'annonce correspondant à l'objet illustré sous une contrainte donnée (par exemple, la moins chère, un état précis) et soit l'ouvrir, soit rapporter un détail demandé.
Notation: La métrique est le taux de réussite. Chaque tâche est notée 0 ou 1 par une fonction de récompense programmatique qui compare la réponse finale de l'agent ou l'état résultant du site à une cible prédéfinie (correspondance exacte, inclusion obligatoire ou correspondance textuelle approximative pour les réponses ; vérifications d'URL/d'état pour les objectifs de navigation ou transactionnels). Le score est la fraction de tâches notées 1.
Vérification: L'évaluation repose sur l'exécution : l'agent pilote un vrai navigateur sur les applications web auto-hébergées en environnement isolé (réinitialisées entre les tâches pour la reproductibilité), et la fonction de récompense inspecte le résultat de façon programmatique, sans jugement humain. Une tâche ne compte que si sa vérification automatique réussit.
Pourquoi c'est important: Les vrais sites web sont visuels, et les observations uniquement textuelles (arbre d'accessibilité ou HTML) manquent l'information ancrée dans les images ; VisualWebArena teste si les agents peuvent à la fois percevoir le contenu visuel et agir, révélant un large écart entre humains et agents et motivant des techniques d'agents multimodaux comme le prompting visuel Set-of-Marks.

Exemple résolu

Tâche

Environnement : le site Classifieds auto-hébergé. Intention (avec une image de référence jointe d'une chaise de bureau) : « Va vers l'annonce qui vend l'objet montré sur cette image et indique-moi son prix demandé ».

Solution

Étapes clés : (1) observer l'image de référence et noter les caractéristiques visuelles distinctives de la chaise ; (2) parcourir/rechercher dans la catégorie meubles du site Classifieds ; (3) comparer les vignettes des annonces à l'image de référence et ouvrir la bonne annonce ; (4) lire le prix demandé sur la page de cette annonce ; (5) le soumettre avec l'action stop, p. ex. stop [<price>]. Réponse finale : le prix exact affiché sur l'annonce correspondante (à titre d'illustration, p. ex. stop [$45]).

Explication

C'est correct parce que la tâche ne peut être résolue qu'en ancrant l'image de référence à la seule annonce correspondante (un appariement visuel qu'une vue uniquement textuelle ne peut pas faire), puis en extrayant la valeur exacte demandée. Notation : la fonction de récompense compare la réponse soumise au prix cible par correspondance de chaîne/approximative, produisant un 0/1 binaire qui alimente le taux de réussite global.

Aucun score vérifié pour ce benchmark à ce jour.