आइसलैंड विश्वविद्यालय द्वारा संचालित सरकारी-वित्त पोषित एआई सेवा, Evrópuvefur का विशेषज्ञ मूल्यांकन, चयनित पुनर्प्राप्ति और खुले वेब खोज के बीच एक महत्वपूर्ण कवरेज-विश्वास ट्रेड-ऑफ को उजागर करता है। अध्ययन ने 449 एआई-जनित उत्तरों का विश्लेषण किया, जो प्रत्येक विधि से उद्धृत स्रोतों की विश्वसनीयता की तुलना करते हैं।
- वेब-खोज उत्तरों में से 35% (187 में से 65) में, कम से कम एक उद्धृत स्रोत को अविश्वसनीय या असंबंधित के रूप में चिह्नित किया गया था, जबकि चयनित स्रोत दुर्लभ ही चिह्नित किए गए थे और केवल पुराने होने के कारण।
- खुले वेब खोज ने अधिक प्रश्नों का उत्तर देकर व्यापक कवरेज प्रदान किया, लेकिन चयनित संकलन ने विश्वसनीयता को प्राथमिकता दी, जब पर्याप्त जानकारी नहीं थी तो उत्तर देने से मना कर दिया।
- 287 वेब-खोज उत्तरों की समीक्षा में प्रणाली ने RÚV जैसे मजबूत स्थानीय स्रोतों का उद्धरण देने में विफल रही।
- प्रॉम्प्ट-स्तर पर निर्देशन का न्यूनतम प्रभाव था, जिसमें विश्वसनीय डोमेन की सूची ने सूचीबद्ध डोमेन के लिए उद्धरणों को केवल 12% से 21% तक बढ़ाया।
- सुगमता और विषयगत उपयुक्तता को स्रोत विश्वसनीयता का पूर्वानुमानक नहीं पाया गया।
लेखकों का तर्क है कि सार्वजनिक एआई सेवाओं में सूचना गुणवत्ता की एक मापनीय लेकिन मुख्य रूप से अदृश्य आयाम के रूप में स्रोत विश्वसनीयता है, जो पारदर्शिता-उन्मुख प्रतिक्रियाओं की आवश्यकता को रेखांकित करती है।