El equipo HY Frontier Multimodal Agent Team de Tencent ha lanzado UI-Mate-27B, un agente de GUI base de peso abierto diseñado para tareas de largo alcance en aplicaciones y sistemas operativos. El modelo observa capturas de pantalla en vivo para razonar sobre los estados visibles y produce acciones estructuradas de teclado y ratón para la interacción nativa con el escritorio.

  • Modelo base: Qwen3.6-27B con 27 mil millones de parámetros.
  • Soporta uso general del ordenador a partir de instrucciones en lenguaje natural y uso guiado por demostraciones que adapta flujos de trabajo reutilizables.
  • El entrenamiento implica un ajuste fino supervisado seguido de aprendizaje por refuerzo en línea en entornos GUI ejecutables.
  • Las demostraciones se tratan como guía, permitiendo al modelo replanificar cuando los estados de la interfaz difieren.
  • En las pruebas de GameDev, la guía por demostraciones reduce la longitud media de la trayectoria de 303.6 a 253.1 pasos.

El lanzamiento proporciona una verificación con licencia Apache-2.0 compatible con vLLM y las interfaces de OpenAI, destinada a la investigación y el desarrollo en entornos de escritorio controlados.