L'équipe Tencent HY Frontier Multimodal Agent a publié UI-Mate-27B, un agent GUI fondamental à poids ouvert conçu pour des tâches à long terme sur des applications et des systèmes d'exploitation. Le modèle observe des captures d'écran en direct pour raisonner sur les états visibles et produit des actions de clavier et de souris structurées pour l'interaction native sur bureau.

  • Modèle de base : Qwen3.6-27B avec 27 milliards de paramètres.
  • Prend en charge l'utilisation générale de l'ordinateur à partir d'instructions en langage naturel et une utilisation guidée par démonstration qui adapte les flux de travail réutilisables.
  • L'entraînement implique un affinage fin supervisé suivi d'un apprentissage par renforcement en ligne dans des environnements GUI exécutables.
  • Les démonstrations sont traitées comme une guidance, permettant au modèle de replanifier lorsque les états d'interface diffèrent.
  • Sur les benchmarks GameDev, la guidance par démonstration réduit la longueur moyenne de la trajectoire de 303,6 à 253,1 étapes.

La publication fournit un point de contrôle sous licence Apache-2.0 compatible avec les interfaces vLLM et OpenAI, destiné à la recherche et au développement dans des environnements de bureau contrôlés.