연구자들은 현재 지표들이 의미 있게 포착하지 못하는 어렵고 현실적인 명령줄 인터페이스 작업을 대상으로 AI 에이전트를 평가하도록 설계된 벤치마크인 Terminal-Bench 2.0을 출시했습니다.
이 벤치마크는 컴퓨터 터미널 환경 내에서 신중하게 선별된 89개의 작업으로 구성되어 있으며, 각 작업은 고유한 설정, 사람이 작성한 솔루션, 포괄적인 검증 테스트를 특징으로 합니다. 평가 결과에 따르면 최전선의 모델과 에이전트들은 이러한 작업에서 65% 미만의 점수를 받았습니다. 저자들은 모델과 에이전트의 능력 향상을 위한 특정 영역을 식별하기 위해 오류 분석을 수행했습니다.
데이터셋과 평가 하네스는 터미널 환경에서의 자율적 작업 완수를 촉진하기 위해 개발자와 연구자들을 위해 공개되었습니다.