Tencent a publié le checkpoint UI-Mate-democua-27B, une version guidée par démonstration de son agent GUI UI-Mate capable d'adapter les workflows enregistrés à de nouvelles tâches. Le modèle observe des captures d'écran en direct et raisonne sur les états visibles pour produire des actions structurées, en utilisant des démonstrations comme guide plutôt que des scripts fixes.

  • Paramètres : 27B, basé sur Qwen3.6-27B, sous licence Apache-2.0.
  • Entraîné par ajustement fin supervisé sur des données mixtes générales et augmentées par démonstration, préservant la compétence uniquement instructionnelle.
  • Les démonstrations sont segmentées en sous-tâches avec des critères de complétion ; le modèle replanifie à partir des écrans en direct plutôt que de rejouer les coordonnées.
  • L'évaluation montre une performance améliorée sur OSWorld-Subset (18 tâches améliorées) et GameDev (trajectoires plus courtes), avec des scores parfaits sur des tâches auparavant insolubles comme chrome-02.

La publication permet la recherche sur les agents GUI basés sur des captures d'écran en permettant aux modèles d'apprendre des connaissances procédurales à partir de démonstrations in-context, améliorant les taux de réussite sur des tâches complexes multi-applications.