लेखकों ने MEDIAREF का परिचय दिया है, जो वेब-स्रोत दस्तावेज़ों का एक सार्वजनिक रूप से उपलब्ध ज्ञान भंडार है जिसे मीडिया पृष्ठभूमि जाँच (MBC) के पुनरुत्पादन योग्य और कम लागत वाले मूल्यांकन को सक्षम बनाने के लिए डिज़ाइन किया गया है। यह उपकरण हाल के स्रोत-आलोधात्मक तर्क दृष्टिकोणों में महंगी स्वामित्व वाली खोज API पर निर्भरता को संबोधित करता है।
- MEDIAREF 200 मीडिया स्रोतों पर MBC उत्पादन के मूल्यांकन का समर्थन करता है।
- अध्ययन संग्रह को बनाने और अपडेट करने के लिए एक पुनरुत्पादन योग्य विधि वर्णित करता है।
- इस नए संसाधन का उपयोग करके व्यापक रूप से उपयोग किए जाने वाले LLM को MBC उत्पादन कार्य पर आंकलित किया गया है।
- स्वचालित और गुणात्मक मूल्यांकन दिखाते हैं कि MEDIAREF उच्च-गुणवत्ता वाले MBC उत्पादन का समर्थन करता है।
MEDIAREF स्वचालित तथ्य जाँच प्रणालियों में साक्ष्य स्रोत की विश्वसनीयता का आकलन करने के लिए एक खुला विकल्प प्रदान करके मौजूदा दृष्टिकोणों की सीमाओं को कम करता है।