Benchmark · agentic
VisualWebArena
O VisualWebArena mede quão bem agentes autônomos multimodais (capazes de enxergar) completam tarefas realistas e ancoradas visualmente em sites reais auto-hospedados (Classifieds, Shopping, Reddit); o desempenho é reportado como a taxa de sucesso geral sobre suas 910 tarefas.
Saiba mais
- Exemplo
- Uma tarefa de navegação condicionada por imagem: dada uma imagem de referência de um produto, o agente deve percorrer um site de classificados ou de compras para localizar o anúncio que corresponde ao item mostrado sob uma restrição indicada (por exemplo, o mais barato, um estado específico) e abri-lo ou informar um detalhe solicitado.
- Pontuação
- A métrica é a taxa de sucesso. Cada tarefa é avaliada com 0 ou 1 por uma função de recompensa programática que compara a resposta final do agente ou o estado resultante do site com um alvo predefinido (correspondência exata, inclusão obrigatória ou correspondência textual aproximada para respostas; verificações de URL/estado para objetivos de navegação ou transacionais). A pontuação é a fração de tarefas com valor 1.
- Verificação
- A avaliação é baseada em execução: o agente controla um navegador real sobre as aplicações web auto-hospedadas em ambiente isolado (reiniciadas entre tarefas para reprodutibilidade), e a função de recompensa inspeciona o resultado de forma programática, sem julgamento humano. Uma tarefa só conta se sua verificação automática passar.
- Por que importa
- Sites reais são visuais, e observações apenas de texto (árvore de acessibilidade ou HTML) perdem informações ancoradas em imagens; o VisualWebArena testa se os agentes conseguem perceber o conteúdo visual e agir ao mesmo tempo, revelando uma grande lacuna entre humanos e agentes e motivando técnicas multimodais como o prompting visual Set-of-Marks.
Exemplo resolvido
Tarefa
Ambiente: o site Classifieds auto-hospedado. Intenção (com uma imagem de referência anexada de uma cadeira de escritório): «Vá até o anúncio que vende o item mostrado nesta imagem e me diga o preço pedido».
Solução
Passos principais: (1) observar a imagem de referência e anotar as características visuais distintivas da cadeira; (2) navegar/buscar na categoria de móveis do site Classifieds; (3) comparar as miniaturas dos anúncios com a imagem de referência e abrir o anúncio correto; (4) ler o preço pedido na página desse anúncio; (5) enviá-lo com a ação stop, p. ex.
stop [<price>]. Resposta final: o preço exato mostrado no anúncio correspondente (ilustrativo, p. ex. stop [$45]).Explicação
Está correto porque a tarefa só pode ser resolvida ancorando a imagem de referência ao único anúncio correspondente (uma correspondência visual que uma visão só de texto não consegue fazer) e então extraindo o valor exato solicitado. Avaliação: a função de recompensa compara a resposta enviada com o preço-alvo por correspondência de string/aproximada, produzindo um 0/1 binário que alimenta a taxa de sucesso agregada.
Ainda não há pontuações verificadas para este benchmark.