Les chercheurs ont publié Mobile-Agent-v3, un cadre d'agent GUI polyvalent construit sur le modèle fondamental GUI-Owl, qui atteint des performances de pointe parmi les modèles bout-en-bout open-source sur dix benchmarks GUI. Le système combine GUI-Owl-7B avec un cadre de production de trajectoires auto-évolutif et un apprentissage par renforcement évolutif pour améliorer les capacités d'automatisation.
- GUI-Owl-7B atteint 66.4 sur AndroidWorld et 29.4 sur OSWorld, tandis que Mobile-Agent-v3 améliore ces scores à 73.3 et 37.7 respectivement.
- Le cadre utilise un environnement virtuel basé sur le cloud s'étendant sur Android, Ubuntu, macOS et Windows pour générer des données d'interaction de haute qualité via la génération automatique de requêtes et la validation de l'exactitude.
- GUI-Owl intègre l'ancrage UI, la planification, la sémantique des actions et les motifs de raisonnement pour soutenir la prise de décision bout-en-bout en tant que composant modulaire dans les systèmes multi-agents.
- L'équipe a développé l'Optimisation Relative de Politique Aware de Trajectoire (TRPO) pour l'apprentissage par renforcement en ligne, atteignant 34.9 sur OSWorld avec un entraînement entièrement asynchrone.
Les modèles open-source fournissent une boucle d'amélioration continue qui réduit les exigences d'annotation manuelle et permet l'alignement du monde réel pour les tâches d'automatisation GUI.