Evaluasi ahli terhadap Evrópuvefur, layanan AI yang didanai pemerintah dan dijalankan oleh Universitas Islandia, mengungkapkan trade-off signifikan antara cakupan dan kepercayaan antara pengambilan terkurasi dan pencarian web terbuka. Studi ini menganalisis 449 jawaban yang dihasilkan AI mengenai keanggotaan UE, membandingkan keandalan sumber yang dikutip dari masing-masing metode.
- Pada 35% jawaban pencarian web (65 dari 187), setidaknya satu sumber yang dikutip ditandai sebagai tidak dapat dipercaya atau tidak relevan, sedangkan sumber terkurasi jarang ditandai dan hanya karena kedaluwarsa.
- Pencarian web terbuka memberikan cakupan yang lebih luas dengan menjawab lebih banyak pertanyaan, tetapi korpus terkurasi mengutamakan kepercayaan, menolak untuk merespons ketika informasi yang cukup tidak tersedia.
- Sistem gagal mengutip sumber lokal yang kuat seperti RÚV dalam salah satu dari 287 jawaban pencarian web yang ditinjau.
- Pengarahan tingkat prompt memiliki dampak minimal, dengan daftar domain terpercaya meningkatkan kutipan ke domain yang terdaftar hanya dari 12% menjadi 21%.
- Kelancaran dan kesesuaian topik ditemukan tidak memprediksi kepercayaan sumber.
Para penulis berargumen bahwa kepercayaan sumber adalah dimensi yang dapat diukur tetapi sebagian besar tidak terlihat dari kualitas informasi dalam layanan AI publik, menyoroti perlunya respons yang berorientasi pada transparansi.