Le rapport technique sur UI-TARS-2 présente un modèle d'agent centré nativement sur l'interface graphique (GUI) qui répond aux défis de la scalabilité des données, de l'apprentissage par renforcement multi-tours et de la stabilité de l'environnement grâce à une méthodologie d'entraînement systématique. Cette approche comprend un volant de données pour la génération de données scalable, un cadre RL multi-tours stabilisé, un environnement GUI hybride intégrant les systèmes de fichiers et les terminaux, ainsi qu'une plateforme sandbox unifiée.
- Sur les benchmarks GUI, UI-TARS-2 obtient 88.2 sur Online-Mind2Web, 47.5 sur OSWorld, 50.6 sur WindowsAgentArena et 73.3 sur AndroidWorld, surpassant des bases solides comme les agents Claude et OpenAI.
- Dans les environnements de jeu, il atteint un score normalisé moyen de 59.8 sur une suite de 15 jeux, atteignant environ 60 % du niveau humain et restant compétitif par rapport aux modèles propriétaires de pointe tels que OpenAI o3 sur LMGame-Bench.
- Le modèle démontre sa robustesse en se généralisant à des tâches de recherche d'informations à long terme et à des benchmarks d'ingénierie logicielle.
Ces résultats soulignent le potentiel d'UI-TARS-2 à faire progresser l'état de l'art des agents GUI et à exhiber une forte généralisation aux scénarios interactifs du monde réel.