자율 웹 에이전트(AWA) 1.5 시스템은 WebArena 벤치마크에서 57.14%의 점수를 달성하여 이전 기록인 35.8%를 뛰어넘었습니다. 이 결과는 현재 78%인 인간 수준의 성능에 AI 시스템이 가장 가까이 다가간 것을 의미합니다.

  • AWA 1.5는 사용자 정의 HTML-DOM 파싱과 반복 처리를 사용하여 인간과 유사한 상호작용을 모방합니다.
  • WebArena는 신뢰할 수 있는 평가를 위해 컨테이너화된 사이트와 명확한 출력을 제공하는 통제된 환경을 제공합니다.
  • 에이전트는 드래그 앤 클릭 작업, 상태 유지 작업 및 엄격한 문자열 일치 요구 사항으로 인해 어려움을 겪습니다.

이 성과는 개방형 웹에서 에이전트를 평가하는 데 내재된 노이즈와 변동성을 해결함으로써 웹 자율성에서 상당한 진전을 보여줍니다.