शोधकर्ताओं ने ReContext का प्रस्ताव दिया है, जो एक ट्रेनिंग-फ्री इनफरेंस विधि है जो मॉडल के आंतरिक एटेंशन मैकेनिज्म के भीतर प्रासंगिक प्रमाणों को पुनरावर्ती रूप से रीप्ले करके लंबे-संदर्ब तर्क को बढ़ावा देती है।
- विधि मॉडल-आंतरिक प्रासंगिकता संकेतों का उपयोग करके क्वेरी-कंडीशंड प्रमाण पूल बनाती है और पूर्ण मूल संदर्भ को बनाए रखते हुए अंतिम जनरेशन से पहले इसे रीप्ले करती है।
- यह दृष्टिकोण ट्रेनिंग, बाहरी मेमोरी या कॉन्टेक्स्ट प्रूनिंग की आवश्यकता के बिना प्रमाण संगठन को उत्तर जनरेशन से अलग करता है।
- 128K संदर्ब लंबाई के साथ आठ लंबे-संदर्ब डेटासेट्स पर किए गए प्रयोगों ने Qwen3-4B, Qwen3-8B और Llama3-8B बैकबोन्स में निरंतर सुधार दिखाए हैं।
- तकनीक इनपुट में पहले से मौजूद प्रमाणों का प्रभावी उपयोग करके सभी तीन परीक्षित मॉडलों पर सर्वश्रेष्ठ औसत रैंक प्राप्त करती है।
ReContext संदर्ब एक्सेस और प्रभावी उपयोग के बीच की खाई को दूर करता है, जिससे LLMs अतिरिक्त ट्रेनिंग ओवरहेड के बिना तर्क कार्यों के लिए लंबे इनपुट का बेहतर लाभ उठा सकते हैं।