Benchmark · agentic
Windows Agent Arena
Windows Agent Arena (WAA) es un benchmark reproducible que evalúa agentes de IA multimodales en 154 tareas reales realizadas dentro de un entorno Windows 11 en vivo; la métrica principal es la tasa de éxito de tareas: la fracción de tareas que el agente completa correctamente.
Leer más
- Ejemplo
- Un tipo de tarea: manejar aplicaciones de escritorio reales para alcanzar un estado objetivo usando solo capturas de pantalla y el árbol de accesibilidad (accessibility tree); por ejemplo, cambiar una opción en Windows Settings, editar una hoja de cálculo en LibreOffice Calc, instalar una extensión en VS Code o completar una tarea de navegación en Chrome.
- Puntuación
- Cada tarea incluye un script de recompensa determinista que, al final del episodio, inspecciona el estado final de la máquina virtual (archivos, valores del registro, salida de la aplicación) y devuelve una puntuación por tarea, normalmente éxito binario (1/0). La puntuación del benchmark es la tasa de éxito media sobre las 154 tareas; las ejecuciones completas se paralelizan en máquinas virtuales de Azure.
- Verificación
- Un resultado cuenta solo si el validador integrado de la tarea confirma el estado final objetivo en el entorno real, no por coincidir con el texto o el registro de acciones del agente. El agente tiene un presupuesto fijo de acciones/pasos; superarlo o dejar un estado incorrecto puntúa 0. Las ejecuciones son reproducibles porque la imagen de la máquina virtual y las configuraciones de las tareas están fijadas.
- Por qué importa
- Comprueba si los agentes pueden operar realmente un sistema operativo completo y real —navegando por interfaces gráficas de muchas aplicaciones cotidianas— en lugar de solo responder preguntas. Existe una gran brecha entre los agentes actuales y las personas sin ayuda, y la infraestructura paralelizada en Azure hace rápida la evaluación reproducible y a gran escala de agentes de sistema operativo.
Ejemplo resuelto
Tarea
Elemento representativo (dominio Windows Settings): «Cambiar el modo de color de las aplicaciones de Windows a Dark». El agente recibe una captura de pantalla y el árbol de accesibilidad de una máquina virtual Windows 11 nueva y debe emitir acciones de interfaz gráfica (ratón y teclado); solo se da el objetivo, sin texto de referencia.
Solución
Pasos: 1) Abrir Settings (Win+I, o Start y luego Settings). 2) Ir a Personalization y luego Colors. 3) En «Choose your mode», seleccionar Dark. Estado final: el tema de aplicaciones/sistema es Dark (valor del registro HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
Explicación
Es correcto porque el objetivo es un cambio de estado y la secuencia establece exactamente el valor que lee el validador. Tras el episodio, el script de recompensa consulta el registro de la máquina virtual y devuelve success=1 solo si AppsUseLightTheme es igual al valor oscuro (0), sin importar cómo lo logró el agente.
| Fecha | Modelo | Puntuación | Fuente |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 avanza en agentes de GUI con aprendizaje por refuerzo multironda |