Une évaluation experte d'Evrópuvefur, un service d'IA financé par le gouvernement et géré par l'Université de Islande, révèle un compromis significatif entre couverture et confiance entre la récupération curatée et la recherche web ouverte. L'étude a analysé 449 réponses générées par l'IA concernant l'adhésion à l'UE, comparant la fiabilité des sources citées par chaque méthode.
- Dans 35 % des réponses de recherche web (65 sur 187), au moins une source citée a été signalée comme peu fiable ou non pertinente, tandis que les sources curatées étaient rarement signalées et uniquement pour être périmées.
- La recherche web ouverte a fourni une couverture plus large en répondant à davantage de questions, mais le corpus curaté a privilégié la fiabilité, refusant de répondre lorsqu'il manquait d'informations suffisantes.
- Le système n'a cité aucune source locale forte comme RÚV dans aucune des 287 réponses de recherche web examinées.
- L'orientation au niveau du prompt a eu un impact minimal, une liste de domaines de confiance augmentant les citations vers les domaines listés de seulement 12 % à 21 %.
- La fluidité et l'adéquation thématique ne prédisent pas la fiabilité des sources.
Les auteurs soutiennent que la fiabilité des sources est une dimension mesurable mais largement invisible de la qualité de l'information dans les services publics d'IA, soulignant le besoin de réponses orientées vers la transparence.