शोधकर्ता "संदर्भ-में-जवाब" पेश करते हैं, एक डायग्नोस्टिक जो मापता है कि गोल्ड जवाब पैक्ड रीडर संदर्भों में सतत स्पैन के रूप में जीवित रहते हैं या नहीं, यह तर्क देते हुए कि यह बजट-सीमित रिट्रीवल-एंगमेंटेड जनरेशन के लिए डॉक्युमेंट रिकॉल से श्रेष्ठ है। वे रीडर-संदर्भ निर्माण को बजटेड मोनोटोन सबमॉड्यूलर मैक्सिमाइज़ेशन के रूप में फ़्रेम करने का प्रस्ताव भी देते हैं ताकि प्रासंगिकता, कवरेज, प्रतिनिधित्व और विविधता को संयुक्त रूप से अनुकूलित किया जा सके।
- संदर्भ-में-जवाब रिकॉल की तुलना में जवाब F1 को बेहतर तरीके से भविष्यवाणी करता है (r=0.39-0.55 बनाम ~0.31) और HotpotQA पर जवाब गुणवत्ता को पाँच गुना अलग करता है।
- सबमॉड्यूलर पैकर 160-टोकन बजट और 3B रीडर के साथ HotpotQA पर MMR और नैवे पैकिंग से +5.1 F1 तक बेहतर प्रदर्शन करता है।
- लाभ को मल्टी-हॉप संरचना, प्रभावी रिट्रीवल, बंधे हुए बजट और ऐसे रीडर्स की आवश्यकता होती है जहाँ सबूत घनत्व बाधा है।
- हेयूरिस्टिक्स के सापेक्ष लाभ 7B मॉडलों द्वारा अवशोषित हो जाता है और 14B मॉडलों द्वारा उलट दिया जाता है, जैसा कि डायग्नोस्टिक द्वारा समझाया गया है।
अध्ययन दर्शाता है कि रिकॉल के बजाय जवाब की उत्तरजीविता के लिए अनुकूलन करने से सीमित संदर्भ बजट वाले विशिष्ट मल्टी-हॉप परिदृश्यों में प्रदर्शन बेहतर होता है।