Los investigadores han lanzado Mobile-Agent-v3, un marco de agente GUI de propósito general basado en el modelo fundamental GUI-Owl, que logra un rendimiento de vanguardia entre los modelos end-to-end de código abierto en diez benchmarks de GUI. El sistema combina GUI-Owl-7B con un marco de producción de trayectorias autoevolutivo y aprendizaje por refuerzo escalable para mejorar las capacidades de automatización.

  • GUI-Owl-7B alcanza 66.4 en AndroidWorld y 29.4 en OSWorld, mientras que Mobile-Agent-v3 mejora estas puntuaciones a 73.3 y 37.7 respectivamente.
  • El marco utiliza un entorno virtual basado en la nube que abarca Android, Ubuntu, macOS y Windows para generar datos de interacción de alta calidad mediante generación automática de consultas y validación de corrección.
  • GUI-Owl integra anclaje de UI, planificación, semántica de acciones y patrones de razonamiento para apoyar la toma de decisiones end-to-end como un componente modular en sistemas multiagente.
  • El equipo desarrolló Trajectory-aware Relative Policy Optimization (TRPO) para aprendizaje por refuerzo en línea, logrando 34.9 en OSWorld con entrenamiento completamente asíncrono.

Los modelos de código abierto proporcionan un ciclo de auto-mejora que reduce los requisitos de anotación manual y permite la alineación del mundo real para tareas de automatización GUI.