Hindcast 框架通过将已解决的 Polymarket 预测市场回放与冻结的公共 Reddit 快照进行对比，来评估 LLM 预测器，仿佛这些模型存在于特定的过去日期。这种方法防止了两类常见的答案泄露：事后报告的检索以及由模型发布后发生的事件导致的训练数据污染。
- Hindcast 针对实际结果和截止日期的市场价格对预测进行评分，后者作为源自相同历史信息的基线。
- 评估使用每个市场的截止日期，以确保随着新市场的添加和模型的改进，测试保持有效。
- 仅当 Reddit 讨论先于事件发生时，检索辅助才能提高性能；在档案仅包含推测的情况下，检索会降低准确性。
通过关闭这些泄露点，Hindcast 确保评估衡量的是真正的远见，而非对已解决信息的回忆。