Los investigadores presentan Surfer 2, una arquitectura unificada para agentes de uso de computadoras que opera puramente a partir de observaciones visuales en entornos web, de escritorio y móviles. El sistema integra la gestión jerárquica del contexto, la planificación y ejecución desacopladas, y la autoverificación con recuperación adaptativa para permitir un funcionamiento confiable en horizontes de tareas largos.
- Alcanza una precisión del 97,1% en WebVoyager, 69,6% en WebArena, 60,1% en OSWorld y 87,1% en AndroidWorld sin ajuste fino específico para la tarea.
- Supera a todos los sistemas anteriores y excede el rendimiento humano en todas las pruebas con múltiples intentos.
Los resultados demuestran que la orquestación sistemática amplifica las capacidades de los modelos base para permitir el control general de computadoras únicamente mediante interacción visual.