Kerangka Hindcast mengevaluasi peramal LLM dengan memutar ulang pasar prediksi Polymarket yang telah diselesaikan terhadap snapshot Reddit publik yang dibekukan, menilai model seolah-olah mereka ada pada tanggal tertentu di masa lalu. Pendekatan ini mencegah dua saluran kebocoran jawaban umum: pengambilan laporan pasca-peristiwa dan kontaminasi data pelatihan dari peristiwa yang terjadi setelah rilis model.

  • Hindcast menilai prakiraan terhadap hasil aktual dan harga pasar pada tanggal cutoff, yang berfungsi sebagai baseline manusia yang berasal dari informasi sejarah yang sama.
  • Evaluasi menggunakan cutoff per-pasar untuk memastikan pengujian tetap valid seiring bertambahnya pasar baru dan peningkatan model.
  • Bantuan pengambilan hanya meningkatkan kinerja ketika diskusi Reddit mendahului peristiwa; dalam kasus di mana arsip hanya berisi spekulasi, pengambilan menurunkan akurasi.

Dengan menutup kebocoran ini, Hindcast memastikan bahwa evaluasi mengukur wawasan masa depan yang sebenarnya daripada ingatan atas informasi yang telah diselesaikan.