L'article présente GUI-Owl-1.5, un modèle d'agent GUI natif disposant de variantes instructives et de raisonnement, avec des tailles allant de 2B à 235B paramètres. Il prend en charge plusieurs plateformes, y compris les environnements de bureau, mobile et navigateur, pour permettre la collaboration cloud-edge et l'interaction en temps réel.
- Atteint des résultats de pointe sur plus de 20 benchmarks GUI parmi les modèles open-source, avec un score de 56.5 sur OSWorld, 71.6 sur AndroidWorld et 48.4 sur WebArena pour les tâches d'automatisation.
- Atteint 80.3 sur ScreenSpotPro pour les tâches d'ancrage, 47.6 sur OSWorld-MCP et 46.8 sur MobileWorld pour l'appel d'outils, et 75.5 sur GUI-Knowledge Bench pour les tâches de mémoire et de connaissances.
- Intègre un Hybrid Data Flywheel utilisant des environnements sandbox simulés et basés sur le cloud pour améliorer l'efficacité et la qualité de la collecte de données.
- Utilise un pipeline de synthèse de pensée unifié pour améliorer les capacités de raisonnement, en se concentrant sur l'utilisation d'outils/MCP, la mémoire et l'adaptation multi-agents.
- Propose l'algorithme RL d'environnement MRPO pour résoudre les conflits multi-plateformes et la faible efficacité d'entraînement dans les tâches à long terme.
Les modèles GUI-Owl-1.5 sont open-sourcés, avec une démo de sandbox cloud en ligne disponible.