Hindcastフレームワークは、凍結された公開Redditのスナップショットに対してPolymarketの解決済み予測市場を再生し、モデルを特定の日付に存在したかのように採点することで、LLM予測者を評価します。このアプローチは、2つの一般的な回答リーケージの経路を防ぎます：イベント後のレポートの取得と、モデルリリース後に発生した事象からのトレーニングデータ汚染。

  • Hindcastは、カットオフ日における実際の結果と市場価格の両方に対して予測を採点し、これは同じ歴史的情報から導き出された人間のベースラインとして機能します。
  • 評価は、新しい市場が追加されモデルが改善されるにつれてテストの有効性を確保するために、市場ごとのカットオフを使用します。

これらのリーケージを閉じることで、Hindcastは評価が解決された情報の想起ではなく、真の先見性を測定することを保証します。