アイスランド大学が運営する政府資金によるAIサービス「Evrópuvefur」の専門家評価により、キュレーションされた検索とオープンなウェブ検索の間には、網羅性と信頼性の重要なトレードオフがあることが明らかになった。本研究はEU加盟に関する449件のAI生成回答を分析し、各手法から引用されたソースの信頼性を比較した。

  • ウェブ検索による回答の35%（187件中65件）で、少なくとも1つの引用ソースが信頼できないまたは無関係とフラグ付けされたのに対し、キュレーションされたソースはほとんどフラグ付けされず、期限切れであることのみでフラグ付けされた。
  • オープンなウェブ検索はより多くの質問に回答することで広範な網羅性を提供したが、キュレーションされたコーパスは信頼性を優先し、十分な情報が不足している場合は回答を拒否した。
  • 調査対象となった287件のウェブ検索回答のいずれにおいても、RÚVのような強力なローカルソースが引用されることはなかった。
  • プロンプトレベルの誘導の影響は最小限であり、信頼できるドメインのリストにより、リストされたドメインへの引用はわずか12%から21%に増加した。
  • 流暢さと主題の適合性は、ソースの信頼性を予測しないことがわかった。

著者らは、ソースの信頼性はパブリックAIサービスにおける情報品質の測定可能だが主に不可視な次元であると主張し、透明性指向の応答の必要性を強調している。