벤치마크 · agentic
Windows Agent Arena
Windows Agent Arena(WAA)는 실제로 구동되는 Windows 11 환경에서 154개의 실제 작업으로 멀티모달 AI 에이전트를 평가하는 재현 가능한 벤치마크입니다. 핵심 지표는 작업 성공률로, 에이전트가 올바르게 완료한 작업의 비율입니다.
자세히 보기
- 예시
- 작업 유형 예시: 스크린샷과 접근성 트리(accessibility tree)만 사용하여 실제 데스크톱 앱을 조작해 목표 상태에 도달하기 — 예를 들어 Windows Settings의 옵션 변경, LibreOffice Calc에서 스프레드시트 편집, VS Code에서 확장 설치, 또는 Chrome에서 브라우징 작업 완료.
- 채점 방식
- 각 작업에는 결정론적 보상 스크립트가 포함되어 있어, 에피소드가 끝날 때 가상 머신의 최종 상태(파일, 레지스트리 값, 앱 출력)를 검사하고 보통 이진 성공(1/0)인 작업별 점수를 반환합니다. 벤치마크 점수는 전체 154개 작업의 평균 성공률이며, 전체 실행은 Azure 가상 머신에서 병렬화할 수 있습니다.
- 검증 방식
- 결과는 작업에 내장된 검증기가 실제 환경에서 목표 최종 상태를 확인한 경우에만 인정되며, 에이전트의 텍스트나 동작 로그와의 일치로 판단하지 않습니다. 에이전트에게는 고정된 동작/단계 예산이 있으며, 이를 초과하거나 상태가 잘못되면 0점입니다. 가상 머신 이미지와 작업 구성이 고정되어 있어 실행은 재현 가능합니다.
- 왜 중요한가
- 에이전트가 단순히 질문에 답하는 것이 아니라, 여러 일상 앱의 그래픽 인터페이스를 넘나들며 완전하고 실제인 운영 체제를 정말로 조작할 수 있는지를 검증합니다. 현재 에이전트와 도움 없는 인간 사이에는 큰 격차가 있으며, Azure로 병렬화된 프레임워크는 대규모의 재현 가능한 OS 에이전트 평가를 빠르게 만듭니다.
예제 풀이
문제
대표 항목(Windows Settings 도메인): 「Windows 앱 색상 모드를 Dark로 전환하시오.」 에이전트는 새 Windows 11 가상 머신의 스크린샷과 접근성 트리를 받고, 이를 수행하기 위해 그래픽 인터페이스 동작(마우스와 키보드)을 실행해야 합니다. 목표만 주어지며 목표 텍스트는 없습니다.
해답
단계: 1) Settings 열기(Win+I 또는 Start 다음 Settings). 2) Personalization으로 이동한 뒤 Colors로. 3) 「Choose your mode」에서 Dark 선택. 최종 상태: 앱/시스템 테마가 Dark(레지스트리 값 HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
풀이
목표가 상태 변경이고, 이 순서가 검증기가 읽는 값을 정확히 설정하므로 정답입니다. 에피소드 후 보상 스크립트가 가상 머신 레지스트리를 조회하여 AppsUseLightTheme가 다크 값(0)과 같을 때만 success=1을 반환하며, 에이전트가 어떻게 달성했는지는 상관하지 않습니다.
| 날짜 | 모델 | 점수 | 출처 |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2, 다중 턴 강화 학습으로 GUI 에이전트 발전 |