Фреймворк Hindcast оценивает прогностические модели LLM, воспроизводя закрытые рынки предсказаний Polymarket на основе замороженного снимка публичного Reddit, оценивая модели так, как если бы они существовали в конкретную прошлую дату. Этот подход предотвращает два общих канала утечки ответов: извлечение отчетов о событиях и загрязнение обучающих данных событиями, произошедшими после выпуска модели.

  • Hindcast оценивает прогнозы как по фактическому исходу, так и по рыночной цене на дату отсечения, которая служит человеческим базовым уровнем, полученным из той же исторической информации.
  • Оценка использует отсечения для каждого рынка, чтобы гарантировать валидность теста при добавлении новых рынков и улучшении моделей.
  • Вспомогательное извлечение улучшает производительность только тогда, когда обсуждения на Reddit предшествовали событию; в случаях, когда архив содержал лишь спекуляции, извлечение ухудшает точность.

Устраняя эти утечки, Hindcast гарантирует, что оценки измеряют подлинное предвидение, а не воспроизведение разрешенной информации.