Una evaluación experta de Evrópuvefur, un servicio de IA financiado por el gobierno y operado por la Universidad de Islandia, revela una compensación significativa entre cobertura y confianza entre la recuperación curada y la búsqueda web abierta. El estudio analizó 449 respuestas generadas por IA sobre la adhesión a la UE, comparando la fiabilidad de las fuentes citadas desde cada método.
- En el 35% de las respuestas de búsqueda web (65 de 187), al menos una fuente citada fue marcada como no confiable o irrelevante, mientras que las fuentes curadas rara vez fueron marcadas y solo por estar desactualizadas.
- La búsqueda web abierta proporcionó una cobertura más amplia al responder a más preguntas, pero el corpus curado priorizó la confiabilidad, negándose a responder cuando carecía de información suficiente.
- El sistema no logró citar fuentes locales sólidas como RÚV en ninguna de las 287 respuestas de búsqueda web revisadas.
- La dirección a nivel de prompt tuvo un impacto mínimo, con una lista de dominios confiables que aumentó las citas a dominios listados de solo el 12% al 21%.
- Se encontró que la fluidez y la adecuación temática no predicen la confiabilidad de las fuentes.
Los autores argumentan que la confiabilidad de las fuentes es una dimensión medible pero en gran medida invisible de la calidad de la información en los servicios de IA públicos, destacando la necesidad de respuestas orientadas a la transparencia.