Les chercheurs présentent Surfer 2, une architecture unifiée pour les agents d'utilisation d'ordinateur qui opère uniquement à partir d'observations visuelles sur les environnements web, bureau et mobile. Le système intègre la gestion hiérarchique du contexte, la séparation de la planification et de l'exécution, ainsi que l'auto-vérification avec récupération adaptative pour permettre un fonctionnement fiable sur de longues durées de tâche.
- Atteint 97,1 % de précision sur WebVoyager, 69,6 % sur WebArena, 60,1 % sur OSWorld et 87,1 % sur AndroidWorld sans ajustement fin spécifique à la tâche.
- Surpasse tous les systèmes antérieurs et dépasse les performances humaines sur tous les benchmarks avec plusieurs tentatives.
Les résultats démontrent que l'orchestration systématique amplifie les capacités des modèles de base pour permettre le contrôle généraliste d'ordinateur par simple interaction visuelle.