Hindcast 프레임워크는 동결된 공개 Reddit 스냅샷에 대해 Polymarket 예측 시장의 해결된 결과를 재생하고, 모델을 특정 과거 날짜에 존재했던 것처럼 채점하여 LLM 예측자를 평가합니다. 이 접근 방식은 두 가지 일반적인 답변 유출 경로를 방지합니다: 사후 보고서 검색과 모델 출시 이후 발생한 사건으로 인한 학습 데이터 오염.
- Hindcast는 컷오프 시점의 실제 결과와 시장 가격 모두에 대해 예측을 채점하며, 이는 동일한 역사적 정보에서 도출된 인간 기준선 역할을 합니다.
- 평가는 새로운 시장이 추가되고 모델이 개선됨에 따라 테스트의 유효성을 보장하기 위해 시장별 컷오프를 사용합니다.
검색 보조는 Reddit 토론이 사건 이전에 발생한 경우에만 성능을 향상시키며, 아카이브에 추측만 포함된 경우에는 검색이 정확도를 저하시킵니다.
이러한 유출을 차단함으로써 Hindcast는 평가가 해결된 정보의 회상이 아닌 진정한 선견지명을 측정하도록 보장합니다.