يكشف تقييم خبير لـ Evrópuvefur، وهو خدمة ذكاء اصطناعي ممولة من الحكومة وتشغلها جامعة آيسلندا، عن مقايضة كبيرة بين التغطية والثقة بين الاسترجاع المُختار والبحث المفتوح على الويب. حللت الدراسة 449 إجابة مولدة بواسطة الذكاء الاصطناعي بشأن الانضمام إلى الاتحاد الأوروبي، وقارنت موثوقية المصادر المستشهد بها من كل طريقة.
- في 35% من إجابات البحث عبر الويب (65 من 187)، تم وضع علامة على مصدر واحد على الأقل كمصدر غير موثوق أو غير ذي صلة، بينما نادراً ما وُضعت علامات على المصادر المختارة وكانت فقط لأنها قديمة.
- وفرت عملية البحث المفتوح على الويب تغطية أوسع من خلال الإجابة على المزيد من الأسئلة، لكن المجموعة المختارة أعطت الأولوية للموثوقية، وامتنعت عن الرد عندما لم تكن لديها معلومات كافية.
- فشل النظام في الاستشهاد بمصادر محلية قوية مثل RÚV في أي من إجابات البحث عبر الويب الـ 287 التي تمت مراجعتها.
- كان لتوجيه مستوى الطلب تأثير ضئيل، حيث زادت قائمة النطاقات الموثوقة من الإشارات إلى النطاقات المدرجة من 12% فقط إلى 21%.
- وُجد أن السلاسة وملاءمة الموضوع لا تتنبأ بموثوقية المصدر.
يجادل المؤلفون بأن موثوقية المصدر هي بُعد قابل للقياس ولكن غير مرئي إلى حد كبير لجودة المعلومات في خدمات الذكاء الاصطناعي العامة، مما يسلط الضوء على الحاجة إلى استجابات موجهة نحو الشفافية.