Les chercheurs présentent DevicesWorld, un benchmark exécutable à grande échelle conçu pour évaluer des agents basés sur des LLM opérant dans des environnements hétérogènes incluant les appareils mobiles, de bureau et IoT.
- Le benchmark contient 6 140 tâches qui intègrent trois classes d'environnements d'appareils dans un cadre unifié pour l'interaction multi-appareils.
- Chaque tâche définit des objectifs en langage naturel, les appareils participants, les états initiaux, les actions exécutables, des vérificateurs basés sur des règles et des procédures de nettoyage.
- L'évaluation de cinq systèmes d'agents LLM de pointe révèle des taux de réussite faibles, le meilleur ne dépassant pas 12,5 %.
- L'analyse montre que les agents ont souvent du mal à acquérir des informations, à manipuler les interfaces et à distinguer les appareils source des appareils de sortie.
DevicesWorld fournit un problème d'évaluation reproductible et utile au diagnostic pour faire avancer la recherche sur les agents multi-appareils fiables.