يقدم المؤلفون WILDTRACE، وهو معيار جديد مصمم لتقييم مدى قدرة النماذج على دمج الأدلة الموزعة عبر مقاطع بعيدة في المستندات الطويلة. على عكس المعايير الحالية التي تعتمد على حقائق مزروعة أو سلاسل تم هندستها عكسيًا، يستخدم WILDTRACE 481 مهمة مستمدة من 214 مصدرًا طبيعيًا، مثل تقارير الحوادث التقنية والسرد الأدبي.
- يعرف المعيار سبع هندسات للأدلة الداخلية للمصدر بناءً على المنطق السببي والزمني والسردي.
- تستخدم خط أنابيب يعتمد على المصدر أولاً لاستخراج المسارات المرشحة من بنية المستند قبل كتابة الأسئلة.
- تخضع العناصر للتحقق متعدد المراحل لضمان ضرورة الأدلة، وأسس الإجابات، والالتزام بالمعايير، ومقاومة التلوث، وإمكانية الإجابة.
يعالج هذا العمل الفجوة بين الوصول إلى المعلومات والاستدلال على أدلة موزعة بشكل طبيعي، وهو أمر حاسم للمهام التحليلية عالية المخاطر في العالم الحقيقي.