Tencent a publié UI-Mate-27B, un modèle de base à poids ouverts conçu pour l'utilisation prolongée de l'ordinateur à travers les applications et les systèmes d'exploitation. Le modèle de 27 milliards de paramètres observe des captures d'écran en direct pour raisonner sur les états visibles et produit des actions structurées de clavier et de souris pour l'interaction native avec le bureau.

  • Construit sur le modèle de base Qwen3.6-27B avec un ajustement fin supervisé et un apprentissage par renforcement en ligne.
  • Prend en charge l'utilisation générale de l'ordinateur à partir d'instructions en langage naturel et de flux de travail guidés par des démonstrations.
  • Dispose d'un ancrage sur écran en direct plutôt que d'une répétition de coordonnées, permettant de replanifier lorsque les états de l'interface changent.
  • Produit des actions structurées compatibles avec pyautogui et fournit une interface de service compatible avec openAI.

Le modèle est disponible sous la licence Apache-2.0 sur Hugging Face et GitHub.