아이슬란드 대학이 운영하는 정부 자금 지원 AI 서비스인 Evrópuvefur에 대한 전문가 평가는 큐레이션된 검색과 오픈 웹 검색 간에 중요한 커버리지-신뢰도 트레이드오프가 있음을 드러냈다. 이 연구는 EU 가입과 관련된 449개의 AI 생성 답변을 분석하여 각 방법에서 인용된 출처의 신뢰성을 비교했다.
- 웹 검색 답변의 35%(187건 중 65건)에서 적어도 하나의 인용 출처가 신뢰할 수 없거나 관련이 없다고 플래그 지정되었으나, 큐레이션된 출처는 거의 플래그 지정되지 않았으며 기간 만료로 인해만 플래그 지정되었다.
- 오픈 웹 검색은 더 많은 질문에 답변함으로써 더 넓은 커버리지를 제공했으나, 큐레이션된 코퍼스는 신뢰도를 우선시하여 충분한 정보가 부족할 경우 응답을 거부했다.
- 검토된 287건의 웹 검색 답변 중 어느 것에서도 RÚV와 같은 강력한 로컬 출처가 인용되지 않았다.
- 프롬프트 수준의 유도 영향은 미미했으며, 신뢰할 수 있는 도메인 목록이 목록에 있는 도메인으로의 인용을 단 12%에서 21%로만 증가시켰다.
- 유창성과 주제 적합성은 출처 신뢰도를 예측하지 않는 것으로 나타났다.
저자들은 출처 신뢰도가 공개 AI 서비스에서 정보 품질의 측정 가능하지만 주로 보이지 않는 차원이라고 주장하며, 투명성 지향적 응답의 필요성을 강조한다.