Система автономного веб-агента (AWA) 1.5 набрала 57,14% баллов на бенчмарке WebArena, превзойдя предыдущий рекорд в 35,8%. Этот результат является самым близким к человеческому уровню производительности, который в настоящее время составляет 78%.

  • AWA 1.5 использует пользовательский парсинг HTML-DOM и итеративную обработку для имитации взаимодействия, подобного человеческому.
  • WebArena предоставляет контролируемую среду с контейнеризованными сайтами и однозначными результатами для надежной оценки.
  • Агент сталкивается с трудностями при выполнении действий перетаскивания и клика, задачах с сохранением состояния и строгими требованиями к точному совпадению строк.

Достижение демонстрирует значительный прогресс в автономии веб-агентов за счет решения проблем шума и изменчивости при оценке агентов в открытом вебе.