Benchmark · agentic
Windows Agent Arena
Windows Agent Arena (WAA) é um benchmark reproduzível que avalia agentes de IA multimodais em 154 tarefas reais executadas dentro de um ambiente Windows 11 ao vivo; a métrica principal é a taxa de sucesso das tarefas — a fração de tarefas que o agente conclui corretamente.
Saiba mais
- Exemplo
- Um tipo de tarefa: operar aplicativos de desktop reais para alcançar um estado-alvo usando apenas capturas de tela e a árvore de acessibilidade (accessibility tree) — por exemplo, alterar uma opção no Windows Settings, editar uma planilha no LibreOffice Calc, instalar uma extensão no VS Code ou concluir uma tarefa de navegação no Chrome.
- Pontuação
- Cada tarefa vem com um script de recompensa determinístico que, ao final do episódio, inspeciona o estado final da máquina virtual (arquivos, valores do registro, saída do aplicativo) e retorna uma pontuação por tarefa, normalmente sucesso binário (1/0). A pontuação do benchmark é a taxa de sucesso média entre as 154 tarefas; execuções completas são paralelizadas em máquinas virtuais do Azure.
- Verificação
- Um resultado só conta se o validador embutido da tarefa confirmar o estado final desejado no ambiente real, e não por coincidir com o texto ou o registro de ações do agente. O agente tem um orçamento fixo de ações/passos; ultrapassá-lo ou deixar o estado errado pontua 0. As execuções são reproduzíveis porque a imagem da máquina virtual e as configurações das tarefas são fixas.
- Por que importa
- Testa se os agentes conseguem realmente operar um sistema operacional completo e real — navegando por interfaces gráficas de muitos aplicativos do dia a dia — em vez de apenas responder perguntas. Há uma grande diferença entre os agentes atuais e os humanos sem assistência, e a infraestrutura paralelizada no Azure torna rápida a avaliação reproduzível e em larga escala de agentes de sistema operacional.
Exemplo resolvido
Tarefa
Item representativo (domínio Windows Settings): «Mudar o modo de cor dos aplicativos do Windows para Dark». O agente recebe uma captura de tela e a árvore de acessibilidade de uma máquina virtual Windows 11 nova e deve emitir ações de interface gráfica (mouse e teclado) para realizá-la; apenas o objetivo é dado, sem texto-alvo.
Solução
Passos: 1) Abrir Settings (Win+I, ou Start e depois Settings). 2) Ir em Personalization e depois Colors. 3) Em «Choose your mode», selecionar Dark. Estado final: o tema de aplicativos/sistema é Dark (valor do registro HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
Explicação
Está correto porque o objetivo é uma mudança de estado e a sequência define exatamente o valor que o validador lê. Após o episódio, o script de recompensa consulta o registro da máquina virtual e retorna success=1 somente se AppsUseLightTheme for igual ao valor escuro (0), independentemente de como o agente chegou lá.
| Data | Modelo | Pontuação | Fonte |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 avança agente de GUI com aprendizado por reforço multironda |