벤치마크 · agentic

Android World

0 결과 0 모델

AndroidWorld는 실제 Android 기기를 조작하는 자율 에이전트를 위한 벤치마크이자 라이브 에뮬레이터 환경입니다(Google, 2024). 20개의 실제 앱에 걸친 수작업 116개 과제로 구성되며, 지표는 과제 성공률(success rate)입니다.

예시: 에이전트는 자연어 목표를 받고 이를 달성하기 위해 실제 앱을 조작해야 합니다. 예를 들어 캘린더 앱에서 라이브 UI를 탭·입력·스크롤하며 지정된 제목·날짜·시간의 이벤트를 만드는 식입니다.
채점 방식: 각 과제는 이진 보상을 줍니다. 최종 기기 상태가 과제의 성공 조건을 만족하면 1, 아니면 0입니다. 점수는 성공률, 즉 해결한 과제의 비율이며 전체 과제 집합에 대해 평균을 냅니다(과제는 무작위 값으로 매개변수화되므로 실행마다 달라집니다).
검증 방식: 성공 여부는 실행 후 기기의 시스템/앱 상태를 프로그램으로 검사하여 판정합니다(예: 앱의 데이터베이스·파일·설정 조회). 행동 궤적을 대조하거나 LLM 심판을 쓰지 않으므로 보상이 지속적이고 재현 가능합니다.
왜 중요한가: 검증 가능한 보상과 함께 현실적이고 개방형인 모바일 기기 제어에서 에이전트를 평가합니다. 무작위 매개변수가 암기를 막고, 실제 앱과 상태 기반 채점이 결합되어 멀티모달 컴퓨터 사용 에이전트를 위한 지속적이고 재현 가능한 테스트베드가 됩니다.

예제 풀이

문제

과제(ContactsAddContact 계열): 「Grace Taylor의 새 연락처를 만드세요. 전화번호는 555-123-4567입니다.」 에이전트는 접근성 트리와 스크린샷을 통해 라이브 '연락처' 앱을 조작합니다.

해답

'연락처' 앱 열기 → '연락처 추가' 탭 → 이름 Grace Taylor 입력 → 번호 555-123-4567 입력 → '저장' 탭. 최종 상태: 기기의 연락처 저장소에 이름 Grace Taylor, 번호 555-123-4567인 연락처가 존재함.

풀이

정답인 이유는 과제의 성공 검사기가 기기의 연락처를 조회하여 목표한 이름과 번호를 정확히 가진 연락처가 존재하는지 확인하기 때문입니다. 채점은 상태에 대한 이진 검사(보상 1/0)이며 에이전트가 어떻게 도달했는지와 무관합니다.

이 벤치마크에 대해 아직 검증된 점수가 없습니다.