ScottRBK는 LLM과 해당 LLM이 작동하는 에이전트형 CLI 하네스 모두에 대해 개인 평가 생성을 위해 설계된 도구인 eval-harness를 출시했습니다. 이 프로젝트는 일반적인 벤치마크나 직관에 의존하는 대신 실제 사용 컨텍스트에서 모델 성능을 평가할 필요성에 대응합니다.
- 저장소에는 공개 데이터셋과 별도로 유지되는 비공개 평가 목록을 구축할 수 있습니다.
- 모델 및 하네스를 평가하기 위한 다양한 패턴을 시연하는 예제 평가를 포함합니다.
- CLI 에이전트가 이러한 평가를 생성하는 데 도움이 되는 기술 세트를 제공하지만, 작성자는 이를 취약하다고 지적했습니다.
- 이 도구는 경험적 데이터에 기반하여 qwen3.6-27b와 같은 로컬 모델과 클라우드 모델 간 전환 시기를 결정하는 것을 목표로 합니다.
이 프레임워크는 특정 에이전트 환경에서 기능을 테스트할 수 있는 구조화된 방법을 제공함으로써 전문 워크플로우에 대한 모델 선택에 대한 정보에 기반한 결정을 지원합니다.