Экспертная оценка сервиса Evrópuvefur, финансируемого государством и управляемого Университетом Исландии, выявляет значительный компромисс между охватом и доверием к источникам при использовании курируемого поиска по сравнению с открытым поиском в интернете. В исследовании проанализированы 449 ответов, сгенерированных ИИ, касающихся вопроса о присоединении к ЕС, сравнивая надежность источников, цитируемых из каждого метода.
- В 35% ответов, полученных через поиск в интернете (65 из 187), хотя бы один из цитируемых источников был помечен как ненадежный или нерелевантный, тогда как курируемые источники редко подвергались такой оценке и лишь за устаревание информации.
- Открытый поиск в интернете обеспечил более широкий охват, отвечая на большее количество вопросов, однако курируемая база данных приоритизировала надежность, отказываясь отвечать при недостатке достаточной информации.
- Система не привела в качестве сильных локальных источников такие ресурсы, как RÚV, ни в одном из 287 проанализированных ответов, полученных через поиск в интернете.
- Управление на уровне запроса оказало минимальное влияние: список доверенных доменов увеличил долю цитирований этих доменов лишь с 12% до 21%.
- Было установлено, что беглость речи и соответствие теме не предсказывают надежность источника.
Авторы утверждают, что надежность источника является измеримым, но в значительной степени скрытым аспектом качества информации в публичных ИИ-сервисах, подчеркивая необходимость ответов, ориентированных на прозрачность.