벤치마크 · agentic

VisualWebArena

0 결과 0 모델

VisualWebArena는 멀티모달(시각 가능) 자율 에이전트가 실제로 자체 호스팅된 웹사이트(Classifieds, Shopping, Reddit)에서 현실적이고 시각에 기반한 과제를 얼마나 잘 수행하는지 측정하며, 성능은 910개 과제 전체에 대한 전반적인 과제 성공률(success rate)로 보고됩니다.

예시: 이미지 조건부 브라우징 과제: 제품의 참조 이미지가 주어지면, 에이전트는 분류 광고 또는 쇼핑 사이트를 탐색하여 주어진 제약(예: 최저가, 특정 상태) 하에서 그림 속 물품과 일치하는 게시물을 찾아 이를 열거나 요청된 세부 정보를 보고해야 합니다.
채점 방식: 지표는 성공률입니다. 각 과제는 프로그램적 보상 함수에 의해 0 또는 1로 채점되며, 이 함수는 에이전트의 최종 답변 또는 사이트의 결과 상태를 사전 정의된 목표와 비교합니다(답변은 정확 일치, 필수 포함, 또는 퍼지 텍스트 일치; 탐색 또는 거래 목표는 URL/상태 검사). 점수는 1을 받은 과제의 비율입니다.
검증 방식: 평가는 실행 기반입니다: 에이전트는 격리된 자체 호스팅 웹 앱에서 실제 브라우저를 조작하고(재현성을 위해 과제 간에 초기화됨), 보상 함수가 결과를 프로그램적으로 검사하며 사람의 판정은 없습니다. 자동 검사를 통과할 때만 과제가 성공으로 집계됩니다.
왜 중요한가: 실제 웹사이트는 시각적이며, 텍스트만의 관측(접근성 트리 또는 HTML)은 이미지에 기반한 정보를 놓칩니다. VisualWebArena는 에이전트가 시각적 콘텐츠를 인지하면서 동시에 행동할 수 있는지를 검증하여, 인간과 에이전트 사이의 큰 격차를 드러내고 Set-of-Marks 시각 프롬프팅과 같은 멀티모달 에이전트 기법을 촉진합니다.

예제 풀이

문제

환경: 자체 호스팅된 Classifieds 사이트. 지시(사무용 의자의 참조 이미지 첨부): «이 이미지에 나온 물품을 판매하는 게시물로 이동하여 그 요청 가격을 알려주세요».

해답

핵심 단계: (1) 참조 이미지를 보고 의자의 독특한 시각적 특징을 파악한다; (2) Classifieds 사이트의 가구 카테고리를 탐색/검색한다; (3) 게시물 썸네일을 참조 이미지와 대조하여 올바른 게시물을 연다; (4) 해당 게시물 페이지에서 요청 가격을 읽는다; (5) stop 액션으로 제출한다, 예: stop [<price>]. 최종 답변: 일치한 게시물에 표시된 정확한 가격(예시, 예: stop [$45]).

풀이

이것이 정답인 이유는 이 과제가 참조 이미지를 유일하게 일치하는 게시물에 연결한 뒤(텍스트만의 뷰로는 불가능한 시각적 대조), 요청된 정확한 값을 추출해야만 풀리기 때문입니다. 채점: 보상 함수는 제출된 답변을 목표 가격과 문자열/퍼지 일치로 비교하여 이진 0/1을 산출하며, 이는 전체 성공률에 반영됩니다.

이 벤치마크에 대해 아직 검증된 점수가 없습니다.