A equipe Tencent HY Frontier Multimodal Agent Team lançou o UI-Mate-27B, um agente GUI fundamental de peso aberto projetado para tarefas de longo prazo em aplicativos e sistemas operacionais. O modelo observa capturas de tela ao vivo para raciocinar sobre os estados visíveis e produz ações estruturadas de teclado e mouse para interação nativa com o desktop.

  • Modelo base: Qwen3.6-27B com 27 bilhões de parâmetros.
  • Suporta uso geral do computador a partir de instruções em linguagem natural e uso guiado por demonstração que adapta fluxos de trabalho reutilizáveis.
  • O treinamento envolve ajuste fino supervisionado seguido por aprendizado por reforço online em ambientes GUI executáveis.
  • As demonstrações são tratadas como orientação, permitindo que o modelo replaneje quando os estados da interface diferem.
  • Nos benchmarks GameDev, a orientação por demonstração reduz o comprimento médio da trajetória de 303,6 para 253,1 etapas.

O lançamento fornece um checkpoint licenciado sob Apache-2.0 compatível com as interfaces vLLM e OpenAI, destinado à pesquisa e desenvolvimento em ambientes desktop controlados.