Benchmark · agentic

Android World

0 resultados 0 modelos

AndroidWorld es un benchmark y entorno de emulador en vivo (Google, 2024) para agentes autónomos que controlan un dispositivo Android real; tiene 116 tareas creadas a mano en 20 apps reales, y la métrica es la tasa de éxito de tareas (success rate).

Ejemplo: El agente recibe un objetivo en lenguaje natural y debe operar apps reales para lograrlo; por ejemplo, en una app de calendario, crear un evento con un título, fecha y hora dados tocando, escribiendo y desplazándose por la interfaz en vivo.
Puntuación: Cada tarea da una recompensa binaria: 1 si el estado final del dispositivo cumple la condición de éxito de la tarea, y 0 en caso contrario. La puntuación es la tasa de éxito, la fracción de tareas resueltas, promediada sobre el conjunto (las tareas se parametrizan con valores aleatorios, así que las ejecuciones varían).
Verificación: El éxito se comprueba de forma programática inspeccionando el estado del sistema/app en el dispositivo tras la ejecución (por ejemplo, consultando la base de datos, los archivos o los ajustes de una app), no comparando la trayectoria de acciones ni con un juez LLM, lo que hace las recompensas duraderas y reproducibles.
Por qué importa: Evalúa a los agentes en un control de dispositivo móvil realista y abierto con recompensas verificables; los parámetros aleatorios disuaden la memorización, y las apps reales junto con la evaluación basada en estado lo convierten en un banco de pruebas duradero y reproducible para agentes multimodales de uso de computadora.

Ejemplo resuelto

Tarea

Tarea (familia ContactsAddContact): «Crea un nuevo contacto para Grace Taylor. Su número de teléfono es 555-123-4567.» El agente actúa sobre la app de Contactos en vivo mediante el árbol de accesibilidad y capturas de pantalla.

Solución

Abre la app de Contactos → toca «Añadir contacto» → escribe el nombre Grace Taylor → escribe el número 555-123-4567 → toca «Guardar». Estado final: el almacén de contactos del dispositivo ahora contiene un contacto llamado Grace Taylor con el número 555-123-4567.

Explicación

Es correcto porque el verificador de éxito de la tarea consulta los contactos del dispositivo y comprueba que existe un contacto con exactamente el nombre y el número objetivo; la calificación es una comprobación binaria del estado (recompensa 1/0), independiente de cómo llegó allí el agente.

Aún no hay puntuaciones verificadas para este benchmark.