L'équipe Tencent HY Frontier Multimodal Agent Team a lancé UI-Mate-9B, un agent de base GUI à poids ouvert conçu pour des tâches à long terme sur les applications et les systèmes d'exploitation. Le modèle observe des captures d'écran en direct pour raisonner sur les états visibles et produit des actions structurées de clavier et de souris pour l'interaction native avec le bureau.
- Modèle de base : Qwen3.5-9B avec 9 milliards de paramètres.
- Prend en charge l'utilisation générale de l'ordinateur à partir d'instructions en langage naturel et une utilisation guidée par démonstration qui adapte les flux de travail réutilisables.
- Entraîné par ajustement fin supervisé suivi d'un apprentissage par renforcement en ligne dans des environnements GUI exécutables.
- Sous licence Apache-2.0.
La publication permet la recherche sur les agents GUI basés sur des captures d'écran avec des capacités d'apprentissage procédural en un seul exemple.