대규모 실증 연구는 CLI 코딩 에이전트의 실패 발생, 진화 및 회복을 분석하기 위한 프로세스 중심 프레임워크를 도입하며, 이를 최종 결과가 아닌 시간적 과정으로 다룹니다.
- 연구진은 Terminal-Bench의 3개 스케폴드(OpenHands, MiniSWE, Terminus2)에서 7개의 최전선 모델로부터 3,843개의 실행 궤적을 수집했습니다.
- 필터링 후 63,000개 이상의 실행 단계를 커버하는 1,794개의 완전하고 유효한 궤적이 수동으로 주석 처리되었습니다.
- 이 분석을 통해 실패 발생, 근본 원인, 회복 및 시스템 간 일관성에 관한 14가지 발견이 도출되었습니다.
- 실패는 주로 인식론적 오류에 의해 주도되며, 일반적으로 첫 몇 실행 단계 내에서 시작되고 회복이 불가능해질 때까지 숨겨져 있는 경우가 많습니다.
저자들은 코딩 에이전트의 신뢰성을 개선하기 위해서는 최종 결과 평가에만 의존하는 것이 아니라 더 이른 검증과 개입이 필요하다고 주장합니다.