Uma avaliação especializada do Evrópuvefur, um serviço de IA financiado pelo governo e operado pela Universidade da Islândia, revela uma significativa compensação entre cobertura e confiança entre a recuperação curada e a busca na web aberta. O estudo analisou 449 respostas geradas por IA sobre adesão à UE, comparando a confiabilidade das fontes citadas em cada método.
- Em 35% das respostas de busca na web (65 de 187), pelo menos uma fonte citada foi sinalizada como não confiável ou irrelevante, enquanto as fontes curadas raramente foram sinalizadas e apenas por estarem desatualizadas.
- A busca na web aberta forneceu cobertura mais ampla ao responder a mais perguntas, mas o corpus curado priorizou a confiabilidade, recusando-se a responder quando faltavam informações suficientes.
- O sistema falhou em citar fontes locais fortes como RÚV em nenhuma das 287 respostas de busca na web revisadas.
- A orientação em nível de prompt teve impacto mínimo, com uma lista de domínios confiáveis aumentando as citações para domínios listados de apenas 12% para 21%.
- Fluência e adequação temática não foram encontradas como preditoras da confiabilidade da fonte.
Os autores argumentam que a confiabilidade da fonte é uma dimensão mensurável, mas amplamente invisível, da qualidade da informação em serviços públicos de IA, destacando a necessidade de respostas orientadas à transparência.