홍콩 대학 MMLab은 동적이고 실제 환경에서 능동 에이전트를 평가하기 위해 설계된 첫 번째 능력 중심 벤치마크인 UniClawBench를 소개했습니다. 이는 라이브 Docker 컨테이너와 숨겨진 슈퍼바이저 에이전트를 사용한 폐쇄 루프 평가 전략을 사용하여 기존 벤치마크의 한계를 해결합니다.

  • 스킬 사용, 탐색, 긴 문맥 추론, 멀티모달 이해, 크로스 플랫폼 조정이라는 5가지 핵심 능력 중심으로 구축되었습니다.
  • 세밀한 단계별 완료 체크포인트를 통해 평가되는 400개의 양국어 실제 작업을 포함합니다.
  • 채점 기준이 누출되지 않고 다중 턴 피드백을 시뮬레이션하기 위해 실행자, 숨겨진 슈퍼바이저 및 사용자 에이전트를 사용한 폐쇄 루프 전략을 사용합니다.
  • 기본 모델의 능력과 프레임워크 설계 선택을 분리하기 위해 여러 프레임워크 하에서 최첨단 모델을 평가합니다.

이 벤치마크는 연구자가 에이전트 실패의 근본 원인을 식별하고 기본 모델과 프레임워크가 어떻게 공동으로 성능을 형성하는지 이해하는 데 도움을 주는 것을 목표로 합니다.