연구자들은 Ubuntu, Windows 및 macOS에서 오픈 엔디드 작업에 대해 멀티모달 에이전트를 평가하기 위해 설계된 확장 가능한 실제 컴퓨터 환경인 OSWorld를 소개합니다.

  • 벤치마크에는 웹 및 데스크톱 앱, 파일 I/O 및 다중 애플리케이션 워크플로우가 포함된 실제 사용 사례에서 파생된 369개의 컴퓨터 작업이 포함되어 있습니다.
  • 각 작업에는 상세한 초기 상태 설정과 신뢰할 수 있는 평가를 위한 사용자 정의 실행 기반 평가 스크립트가 포함되어 있습니다.
  • 최첨단 LLM/VLM 기반 에이전트에 대한 평가는 상당한 결함을 보여주며, 최고 모델은 12.24%의 성공률을 달성하는 반면 인간 성능은 72.36% 이상입니다.
  • 식별된 주요 어려움은 GUI 그라운딩과 운영 지식입니다.

이 벤치마크는 에이전트 확장성을 평가하기 위한 통합 환경을 제공하며, 이전 벤치마크가 지원하지 못했던 멀티모달 제너럴리스트 에이전트를 개발하기 위한 통찰력을 제공합니다.