모델 및 에이전트를 위한 오픈소스 프로모션 게이트인 Whetstone의 제작자는 실제 모델 업데이트에 대해 이 도구를 테스트할 사용자를 찾고 있습니다. Whetstone은 집계 점수가 놓칠 수 있는 숨겨진 회귀를 감지하기 위해 페어링된 항목 수준 결과를 비교합니다.
- 정확한 유의성 검정을 적용하여 재현 가능한 PASS, HOLD 또는 BLOCK 영수증을 생성합니다.
- 로컬 테스트에서 동점 기준선에서 세 가지 향상과 세 가지 회귀를 식별하여 후보자를 차단했습니다.
- 호스팅 버전은 일회성 입력에 대해 상태가 없으며, 실제 테스트는 데이터를 비공개로 유지하기 위해 로컬에서 실행됩니다.
- 저자는 기본 모델, 파인튜닝 또는 에이전트 업데이트가 있는 빌더에게 자신의 가정을 도전하도록 초대합니다.
목표는 게이트가 잘못된 답변을 제공하거나 비현실적이 되는 까다로운 사례를 찾는 것입니다.