Benchmark · agentic
Android World
AndroidWorld é um benchmark e ambiente de emulador ao vivo (Google, 2024) para agentes autônomos que controlam um dispositivo Android real; tem 116 tarefas feitas à mão em 20 apps reais, e a métrica é a taxa de sucesso das tarefas (success rate).
Saiba mais
- Exemplo
- O agente recebe um objetivo em linguagem natural e precisa operar apps reais para alcançá-lo — por exemplo, em um app de calendário, criar um evento com título, data e hora indicados, tocando, digitando e rolando pela interface ao vivo.
- Pontuação
- Cada tarefa dá uma recompensa binária: 1 se o estado final do dispositivo satisfaz a condição de sucesso da tarefa, e 0 caso contrário. A pontuação é a taxa de sucesso, a fração de tarefas resolvidas, com média sobre o conjunto (as tarefas são parametrizadas com valores aleatórios, então as execuções variam).
- Verificação
- O sucesso é verificado de forma programática, inspecionando o estado do sistema/app no dispositivo após a execução (por exemplo, consultando o banco de dados, os arquivos ou as configurações de um app), e não comparando a trajetória de ações nem usando um juiz LLM, o que torna as recompensas duráveis e reproduzíveis.
- Por que importa
- Ele avalia agentes em um controle de dispositivo móvel realista e aberto com recompensas verificáveis; parâmetros aleatórios desencorajam a memorização, e apps reais somados à avaliação baseada em estado o tornam um campo de testes durável e reproduzível para agentes multimodais de uso de computador.
Exemplo resolvido
Tarefa
Tarefa (família ContactsAddContact): «Crie um novo contato para Grace Taylor. O número de telefone é 555-123-4567.» O agente atua no app de Contatos ao vivo por meio da árvore de acessibilidade e de capturas de tela.
Solução
Abra o app de Contatos → toque em «Adicionar contato» → digite o nome Grace Taylor → digite o número 555-123-4567 → toque em «Salvar». Estado final: o armazenamento de contatos do dispositivo agora contém um contato chamado Grace Taylor com o número 555-123-4567.
Explicação
Está correto porque o verificador de sucesso da tarefa consulta os contatos do dispositivo e confirma que existe um contato com exatamente o nome e o número-alvo; a avaliação é uma checagem binária de estado (recompensa 1/0), independente de como o agente chegou lá.
Ainda não há pontuações verificadas para este benchmark.