تقوم إطار Hindcast بتقييم متنبئي النماذج اللغوية الكبيرة من خلال إعادة تشغيل أسواق التنبؤ المحلولة في Polymarket مقابل لقطة مجمدة لـ Reddit العام، وتقييم النماذج كما لو كانت موجودة في تاريخ معين في الماضي. يمنع هذا النهج قناتين شائعتين لتسرب الإجابات: استرداد التقارير بعد الحدث وتلوث بيانات التدريب من الأحداث التي حدثت بعد إصدار النموذج.
- تقيّم Hindcast التنبؤات مقابل النتيجة الفعلية وسعر السوق في تاريخ القطع، والذي يعمل كخط أساس بشري مستمد من نفس المعلومات التاريخية.
- تستخدم التقييمات فترات قطع لكل سوق لضمان بقاء الاختبار صالحًا مع إضافة أسواق جديدة وتحسين النماذج.
- لا تحسن المساعدة بالاسترداد الأداء إلا عندما سبقت مناقشات Reddit الحدث؛ في الحالات التي احتوى فيها الأرشيف على تكهنات فقط، يؤدي الاسترداد إلى تدهور الدقة.
من خلال إغلاق هذه التسريبات، يضمن Hindcast أن التقييمات تقيس البصيرة الحقيقية بدلاً من استرجاع المعلومات المحلولة.