Hindcast फ्रेमवर्क हल किए गए Polymarket पूर्वानुमान बाजारों को सार्वजनिक Reddit के एक फ्रोजन स्नैपशॉट के खिलाफ रीप्ले करके LLM फोरकास्टर का मूल्यांकन करता है, यह मानकर कि मॉडल किसी विशिष्ट पिछली तिथि पर मौजूद थे। यह दृष्टिकोण उत्तर लीकेज के दो सामान्य चैनलों को रोकता है: इवेंट के बाद की रिपोर्टों की पुनर्प्राप्ति और मॉडल के रिलीज़ के बाद हुए इवेंट्स से प्रशिक्षण डेटा दूषित होना।
- Hindcast वास्तविक परिणाम और कटऑफ तिथि पर बाजार मूल्य दोनों के खिलाफ पूर्वानुमानों को स्कोर करता है, जो उसी ऐतिहासिक जानकारी से व्युत्पन्न एक मानव आधार रेखा के रूप में कार्य करता है।
- नए बाजारों के जुड़ने और मॉडल के बेहतर होने के साथ परीक्षण को वैध बनाए रखने के लिए मूल्यांकन प्रति-बाजार कटऑफ का उपयोग करता है।
- पुनर्प्राप्ति सहायता केवल तभी प्रदर्शन में सुधार करती है जब Reddit चर्चाएं इवेंट से पहले हुई थीं; ऐसे मामलों में जहां आर्काइव में केवल अनुमान था, पुनर्प्राप्ति सटीकता को कमजोर कर देती है।
इन लीकेज को बंद करके, Hindcast सुनिश्चित करता है कि मूल्यांकन हल की गई जानकारी की स्मृति के बजाय वास्तविक पूर्वदृष्टि को मापें।