Le cadre Hindcast évalue les prévisionnistes LLM en rejouant des marchés de prédiction Polymarket résolus contre une capture figée de Reddit public, notant les modèles comme s'ils existaient à une date passée spécifique. Cette approche empêche deux canaux courants de fuite de réponses : la récupération de rapports post-événement et la contamination des données d'entraînement par des événements survenus après la sortie du modèle.
- Hindcast évalue les prévisions par rapport au résultat réel et au prix du marché à la date de coupure, qui sert de référence humaine dérivée des mêmes informations historiques.
- L'évaluation utilise des dates de coupure par marché pour garantir que le test reste valide à mesure que de nouveaux marchés sont ajoutés et que les modèles s'améliorent.
- L'assistance par récupération n'améliore les performances que lorsque les discussions Reddit ont précédé l'événement ; dans les cas où l'archive ne contenait que des spéculations, la récupération dégrade la précision.
En comblant ces fuites, Hindcast garantit que les évaluations mesurent une véritable anticipation plutôt qu'un rappel d'informations résolues.