लेखकों ने WILDTRACE पेश किया, एक नया बेंचमार्क जो इस बात का मूल्यांकन करने के लिए डिज़ाइन किया गया है कि मॉडल लंबे दस्तावेजों में दूर स्थित खंडों में प्राकृतिक रूप से बिखरे हुए प्रमाणों को कितनी अच्छी तरह एकीकृत करते हैं। मौजूदा बेंचमार्क्स के विपरीत जो रोपित तथ्यों या रिवर्स-इंजीनियर किए गए चेन का उपयोग करते हैं, WILDTRACE स्रोत-आंतरिक कारण, काल और कथा तर्क पर निर्भर करता है।
- बेंचमार्क में 214 प्राकृतिक रूप से उत्पन्न लंबे स्रोतों पर 481 कार्य शामिल हैं, जिनमें तकनीकी घटना रिपोर्ट और साहित्यिक कथाएँ शामिल हैं।
- यह विश्लेषणात्मक पठन के संबंधी आवश्यकताओं को वर्णित करने के लिए सात स्रोत-आंतरिक प्रमाण ज्यामिति परिभाषित करता है।
- एक स्रोत-प्रथम निर्माण पाइपलाइन प्रश्नों लिखे जाने से पहले दस्तावेज़ संरचना से उम्मीदवार पथ निकालती है।
- प्रत्येक आइटम में सुझाव की आवश्यकता, उत्तर के आधारित होना, रूब्रिक की पाबंदी, दूषण प्रतिरोध और उत्तर देने की क्षमता को कवर करने वाली बहु-चरण मान्यता से गुजरता है।
यह कार्य जानकारी तक पहुँचने और प्राकृतिक रूप से बिखरे हुए प्रमाणों पर तर्क लगाने के बीच के अंतर को दूर करता है, जिसे लॉन्ग-कॉन्टेक्स्ट शोध के लिए एक परिभाषात्मक चुनौती के रूप में पहचाना गया है।