Исследователи представляют Surfer 2, унифицированную архитектуру для агентов управления компьютером, которая работает исключительно на основе визуальных наблюдений в веб-, десктопных и мобильных средах. Система интегрирует иерархическое управление контекстом, раздельное планирование и выполнение, а также самопроверку с адаптивным восстановлением для обеспечения надежной работы на длительных горизонтах задач.
- Достижение точности 97,1% на WebVoyager, 69,6% на WebArena, 60,1% на OSWorld и 87,1% на AndroidWorld без специфической для задачи тонкой настройки.
- Превосходит все предыдущие системы и превосходит человеческую производительность во всех бенчмарках при множественных попытках.
Результаты демонстрируют, что системная оркестровка усиливает возможности базовых моделей для обеспечения универсального управления компьютером исключительно через визуальное взаимодействие.