2,848건의 제공자 청구된 Claude Code 실행에 대한 연구는 검색된 컨텍스트나 도구 출력을 줄이는 것이 코딩 에이전트의 실제 청구 비용을 reliably 낮추지 않는다는 것을 드러냅니다. 이 연구는 세 모델과 일곱 저장소에서 2,908개의 실행 캠페인을 분석함으로써 텍스트 제거라는 일반적인 평가 지표에 의문을 제기합니다.
- 프롬프트 캐시 트래픽이 비용을 지배하여 재구성된 비용의 약 87%와 실제 청구액의 80%를 차지했습니다.
- 추정 원본 도구 출력 토큰의 38%를 제거하는 암은 기준선 대비 페어드 비용이 6.8% 더 높았습니다.
- 압축은 작업 완료에 해를 끼치며 액션에 중요한 증거를 제거하여 SWE-bench에서 파생된 Go 작업에서 패치 적용 성공률을 27/40에서 15/40로 낮췄습니다.
저자들은 토큰 감소 alone보다 효율성 평가를 위한 더 정확한 표준으로 성공 조정된 청구 비용을 사용할 것을 제안합니다.