शोधकर्ताओं ने LakeQuest पेश किया है, जो 9,846 प्रश्न-उत्तर युग्मों का एक मानव-सत्यापित बेंचमार्क है, जो यथार्थवादी डेटा लेक्स पर एंड-टू-एंड रीट्रीव-एंड-सिंथेसाइज़ पाइपलाइनों का मूल्यांकन करने के लिए डिज़ाइन किया गया है। डेटासेट तीन विविध डोमेन — AI/ML मेटाडेटा, रिटेल बैंकिंग और मल्टीमोडल बायोमेडिकल दवा जानकारी — को कवर करता है और प्रत्येक प्रश्न को सटीक, मोडैलिटी-अवेयर सबूत पॉइंटर्स के साथ जोड़ता है।
- LakeQuest आधुनिक QA सिस्टम में महत्वपूर्ण विफलता मोड को उजागर करने के लिए स्रोत खोज को क्रॉस-मोडल संश्लेषण से अलग करता है।
- मानक Retrieval-Augmented Generation (RAG) और एजेंटिक टूल-यूज़ विधियों की बेलाइन मूल्यांकन यह दर्शाते हैं कि उच्च-गुणवत्ता वाली रीट्रीवल सही तर्कसंगतता की गारंटी नहीं देती।
- सिस्टम मेटाडेटा ग्राफ में संबंध चेनिंग, बैंक लेजर्स में नीति ग्राउंडिंग और बायोमेडिकल संदर्भों में संयुक्त टेबुलर QA के साथ लगातार संघर्ष करते हैं।
यह बेंचमार्क भविष्य के एजेंटिक QA सिस्टम में मज़बूत खोज और विश्वसनीय क्रॉस-फ़ाइल कंपोजिशन तंत्र की आवश्यकता को उजागर करता है।