Tencent ha lanzado el checkpoint UI-Mate-democua-27B, una versión guiada por demostraciones de su agente GUI UI-Mate que puede adaptar flujos de trabajo grabados a nuevas tareas. El modelo observa capturas de pantalla en tiempo real y razona sobre los estados visibles para producir acciones estructuradas, utilizando demostraciones como guía en lugar de scripts fijos.

  • Parámetros: 27B, basado en Qwen3.6-27B, con licencia Apache-2.0.
  • Entrenado mediante ajuste fino supervisado con datos generales mixtos y aumentados con demostraciones, preservando la competencia solo de instrucciones.
  • Las demostraciones se segmentan en subtareas con criterios de finalización; el modelo replanea desde las pantallas en tiempo real en lugar de reproducir coordenadas.
  • La evaluación muestra un rendimiento mejorado en OSWorld-Subset (18 tareas mejoradas) y GameDev (trayectorias más cortas), con puntuaciones perfectas en tareas previamente irresolubles como chrome-02.

El lanzamiento permite la investigación en agentes GUI basados en capturas de pantalla al permitir que los modelos aprendan conocimiento procedural a partir de demostraciones in-context, mejorando las tasas de éxito en tareas complejas multiaplicación.