Benchmark · agentic

Android World

0 résultats 0 modèles

AndroidWorld est un benchmark et un environnement d'émulateur en direct (Google, 2024) pour des agents autonomes qui pilotent un véritable appareil Android ; il compte 116 tâches conçues à la main sur 20 applications réelles, la métrique étant le taux de réussite des tâches (success rate).

Exemple: L'agent reçoit un objectif en langage naturel et doit manipuler de vraies applications pour l'atteindre — par exemple, dans une application d'agenda, créer un événement avec un titre, une date et une heure donnés en touchant, en saisissant et en faisant défiler l'interface en direct.
Notation: Chaque tâche donne une récompense binaire : 1 si l'état final de l'appareil satisfait la condition de réussite de la tâche, sinon 0. Le score est le taux de réussite, la proportion de tâches résolues, moyennée sur l'ensemble (les tâches sont paramétrées avec des valeurs aléatoires, donc les exécutions varient).
Vérification: La réussite est vérifiée de façon programmatique en inspectant l'état du système/de l'application sur l'appareil après l'exécution (par exemple en interrogeant la base de données, les fichiers ou les réglages d'une application), et non en comparant la trajectoire d'actions ni via un juge LLM, ce qui rend les récompenses durables et reproductibles.
Pourquoi c'est important: Il évalue les agents sur un contrôle d'appareil mobile réaliste et ouvert avec des récompenses vérifiables ; les paramètres aléatoires découragent la mémorisation, et les vraies applications alliées à une notation fondée sur l'état en font un banc d'essai durable et reproductible pour les agents multimodaux d'utilisation d'ordinateur.

Exemple résolu

Tâche

Tâche (famille ContactsAddContact) : « Créez un nouveau contact pour Grace Taylor. Son numéro de téléphone est 555-123-4567. » L'agent agit sur l'application Contacts en direct via l'arbre d'accessibilité et des captures d'écran.

Solution

Ouvrir l'application Contacts → toucher « Ajouter un contact » → saisir le nom Grace Taylor → saisir le numéro 555-123-4567 → toucher « Enregistrer ». État final : le magasin de contacts de l'appareil contient désormais un contact nommé Grace Taylor avec le numéro 555-123-4567.

Explication

C'est correct parce que le vérificateur de réussite de la tâche interroge les contacts de l'appareil et confirme qu'il existe un contact ayant exactement le nom et le numéro visés ; la notation est une vérification binaire de l'état (récompense 1/0), indépendante de la façon dont l'agent y est parvenu.

Aucun score vérifié pour ce benchmark à ce jour.