A estrutura Hindcast avalia forecasters LLM reproduzindo mercados de previsão do Polymarket resolvidos contra uma snapshot congelada do Reddit público, classificando os modelos como se existissem em uma data específica do passado. Esta abordagem impede dois canais comuns de vazamento de respostas: a recuperação de relatórios pós-evento e a contaminação dos dados de treinamento por eventos que ocorreram após o lançamento do modelo.
- O Hindcast pontua as previsões contra o resultado real e o preço de mercado na data de corte, que serve como uma linha de base humana derivada da mesma informação histórica.
- A avaliação utiliza cortes por mercado para garantir que o teste permaneça válido à medida que novos mercados são adicionados e os modelos melhoram.
- A assistência de recuperação apenas melhora o desempenho quando as discussões do Reddit precederam o evento; nos casos em que o arquivo continha apenas especulação, a recuperação degrada a precisão.
Ao fechar esses vazamentos, o Hindcast garante que as avaliações meçam a verdadeira previsão em vez da recordação de informações resolvidas.