Benchmark · agentic

VisualWebArena

0 resultados 0 modelos

VisualWebArena mide qué tan bien los agentes autónomos multimodales (capaces de ver) completan tareas realistas y ancladas visualmente en sitios web reales autoalojados (Classifieds, Shopping, Reddit); el desempeño se informa como la tasa de éxito global sobre sus 910 tareas.

Ejemplo: Una tarea de navegación condicionada por imagen: dada una imagen de referencia de un producto, el agente debe recorrer un sitio de anuncios clasificados o de compras para localizar el anuncio que coincide con el objeto mostrado bajo una restricción indicada (por ejemplo, el más barato, un estado concreto) y abrirlo o reportar un dato solicitado.
Puntuación: La métrica es la tasa de éxito. Cada tarea se califica con 0 o 1 mediante una función de recompensa programática que compara la respuesta final del agente o el estado resultante del sitio con un objetivo predefinido (coincidencia exacta, inclusión obligatoria o coincidencia difusa de texto para las respuestas; comprobaciones de URL/estado para objetivos de navegación o transaccionales). La puntuación es la fracción de tareas con valor 1.
Verificación: La evaluación se basa en la ejecución: el agente controla un navegador real sobre las aplicaciones web autoalojadas en un entorno aislado (reiniciadas entre tareas para reproducibilidad), y la función de recompensa inspecciona el resultado de forma programática, sin juicio humano. Una tarea solo cuenta si pasa su comprobación automática.
Por qué importa: Los sitios web reales son visuales, y las observaciones solo de texto (árbol de accesibilidad o HTML) pierden información anclada en imágenes; VisualWebArena prueba si los agentes pueden percibir el contenido visual y actuar a la vez, revelando una gran brecha entre humanos y agentes e impulsando técnicas multimodales como el prompting visual Set-of-Marks.

Ejemplo resuelto

Tarea

Entorno: el sitio Classifieds autoalojado. Intención (con una imagen de referencia adjunta de una silla de oficina): «Ve al anuncio que vende el objeto mostrado en esta imagen e indícame su precio de venta».

Solución

Pasos clave: (1) observar la imagen de referencia y anotar los rasgos visuales distintivos de la silla; (2) navegar/buscar en la categoría de muebles del sitio Classifieds; (3) comparar las miniaturas de los anuncios con la imagen de referencia y abrir el anuncio correcto; (4) leer el precio de venta en la página de ese anuncio; (5) enviarlo con la acción stop, p. ej. stop [<price>]. Respuesta final: el precio exacto mostrado en el anuncio coincidente (ilustrativo, p. ej. stop [$45]).

Explicación

Es correcto porque la tarea solo puede resolverse anclando la imagen de referencia al único anuncio coincidente (una comparación visual que una vista solo de texto no puede hacer) y extrayendo luego el valor exacto solicitado. Calificación: la función de recompensa compara la respuesta enviada con el precio objetivo mediante coincidencia de cadena/difusa, produciendo un 0/1 binario que alimenta la tasa de éxito agregada.

Aún no hay puntuaciones verificadas para este benchmark.