El marco Hindcast evalúa los pronosticadores LLM reproduciendo mercados de predicción cerrados de Polymarket contra una instantánea congelada de Reddit público, calificando a los modelos como si existieran en una fecha pasada específica. Este enfoque previene dos canales comunes de fuga de respuestas: la recuperación de informes posteriores al evento y la contaminación de los datos de entrenamiento por eventos que ocurrieron después del lanzamiento del modelo.
- Hindcast puntúa las predicciones tanto contra el resultado real como contra el precio del mercado en la fecha de corte, lo que sirve como una línea base humana derivada de la misma información histórica.
- La evaluación utiliza cortes por mercado para garantizar que la prueba siga siendo válida a medida que se agregan nuevos mercados y los modelos mejoran.
- La asistencia de recuperación solo mejora el rendimiento cuando las discusiones de Reddit precedieron al evento; en casos donde el archivo contenía solo especulación, la recuperación degrada la precisión.
Al cerrar estas fugas, Hindcast asegura que las evaluaciones midan la verdadera previsión en lugar del recuerdo de información resuelta.