Pesquisadores apresentam o Surfer 2, uma arquitetura unificada para agentes de uso de computadores que opera puramente a partir de observações visuais em ambientes web, desktop e móvel. O sistema integra gerenciamento hierárquico de contexto, planejamento e execução desacoplados, e autoverificação com recuperação adaptativa para permitir operação confiável em horizontes de tarefas longos.
- Alcança 97,1% de precisão no WebVoyager, 69,6% no WebArena, 60,1% no OSWorld e 87,1% no AndroidWorld sem ajuste fino específico para a tarefa.
- Supera todos os sistemas anteriores e excede o desempenho humano em todos os benchmarks com múltiplas tentativas.
Os resultados demonstram que a orquestração sistemática amplifica as capacidades dos modelos fundamentais para permitir o controle geral de computadores apenas por interação visual.