벤치마크 · agentic
OSWorld
OSWorld는 컴퓨터 사용 에이전트를 파일 관리자, 웹 브라우저, 오피스 제품군 등 일상적인 앱에 걸친 실제 데스크톱 OS 작업으로 평가하는 벤치마크입니다. 에이전트가 성공적으로 완료한 작업의 비율(%)을 보고합니다.
자세히 보기
- 예시
- 한 작업은 에이전트에게 스프레드시트를 열어 값을 수정하거나 데이터를 다시 서식화하고 파일을 저장하게 하거나, 파일 관리자에서 파일을 찾아 시스템 설정을 변경하게 할 수 있습니다——사람이 하듯이 실제 그래픽 인터페이스(GUI)를 조작하면서요.
- 채점 방식
- 지표는 작업 성공률(task success rate)이며 백분율로 표시됩니다. 각 작업은 통과 또는 실패이며, 점수는 전체 작업 집합에서 통과한 작업의 비율입니다.
- 검증 방식
- 결과는 텍스트 일치나 사람의 투표가 아니라, 기계의 최종 상태를 검사하는 실행 기반 스크립트(예: 올바른 파일·값·설정이 이제 존재하는지)에 의해 자동으로 확인됩니다.
- 왜 중요한가
- 이는 AI 에이전트가 여러 앱에 걸쳐 실제 컴퓨터를 정말로 조작할 수 있는지를 측정하며, 질문에 답하거나 단일 앱 작업보다 훨씬 어렵고 현실적인 자율성 테스트입니다.
예제 풀이
문제
Ubuntu 데스크톱에 GNOME Terminal이 열려 있습니다. 폴더 ~/project에서 10 MB보다 큰 모든 .log 파일을 재귀적으로 찾아 삭제하고, 나머지 파일은 그대로 두세요.
해답
find ~/project -type f -name '*.log' -size +10M -delete풀이
find는 ~/project를 재귀적으로 탐색해 10 MB를 넘는 *.log 이름의 일반 파일을 고르고, -delete가 정확히 그 파일들만 삭제하며 나머지는 남깁니다. OSWorld는 작업별 전용 검사기로 가상 머신(VM)의 최종 파일 시스템 상태를 확인하여, 대상 logs가 사라지고 다른 파일이 남아 있을 때만 reward 1을 부여합니다.