연구자들은 모바일, 데스크톱 및 IoT 장치를 포함한 이종 환경에서 작동하는 LLM 기반 에이전트를 평가하도록 설계된 대규모 실행 가능 벤치마크인 DevicesWorld를 소개했습니다.

  • 이 벤치마크는 크로스 디바이스 상호작용을 위한 통합 프레임워크로 세 가지 클래스의 디바이스 환경을 통합한 6,140개의 작업을 포함합니다.
  • 각 작업은 자연어 목표, 참여 디바이스, 초기 상태, 실행 가능한 작업, 규칙 기반 검증기 및 정리 절차를 정의합니다.
  • 5개의 최첨단 LLM 에이전트 시스템에 대한 평가는 낮은 성공률을 보여주며, 가장 우수한 성능도 12.5%에 불과했습니다.
  • 분석 결과, 에이전트는 정보 획득, 인터페이스 조작, 소스 디바이스와 출력 디바이스를 혼동하는 데 자주 어려움을 겪는 것으로 나타났습니다.

DevicesWorld는 신뢰할 수 있는 크로스 디바이스 에이전트 연구를 발전시키기 위한 재현 가능하고 진단적으로 유용한 평가 문제를 제공합니다.