A Tencent lançou o checkpoint UI-Mate-democua-27B, uma versão guiada por demonstração de seu agente GUI UI-Mate que pode adaptar fluxos de trabalho gravados a novas tarefas. O modelo observa capturas de tela em tempo real e raciocina sobre os estados visíveis para produzir ações estruturadas, usando demonstrações como orientação em vez de scripts fixos.

  • Parâmetros: 27B, baseado no Qwen3.6-27B, licenciado sob Apache-2.0.
  • Treinado por meio de ajuste fino supervisionado em dados gerais mistos e aumentados com demonstrações, preservando a competência apenas de instruções.
  • As demonstrações são segmentadas em subtarefas com critérios de conclusão; o modelo replaneja a partir das telas ao vivo em vez de reproduzir coordenadas.
  • A avaliação mostra desempenho melhorado no OSWorld-Subset (18 tarefas melhoradas) e GameDev (trajetórias mais curtas), com pontuações perfeitas em tarefas anteriormente insolúveis como chrome-02.

O lançamento permite pesquisas sobre agentes GUI baseados em capturas de tela, permitindo que os modelos aprendam conhecimento procedural a partir de demonstrações no contexto, melhorando as taxas de sucesso em tarefas complexas de múltiplos aplicativos.