Исследование разделяет недетерминизм рекомендаций брендов крупными языковыми моделями (LLM) на четыре разделимых источника: повторная выборка внутри промпта, перефразирование промпта, идентичность модели и язык запроса. Используя перекрёстный анализ случайных эффектов для 12 933 ответов трёх моделей и восьми языков, авторы выявили, что язык запроса является крупнейшим источником дисперсии — 26,5 %, тогда как на идентичность бренда приходится лишь 1,5 %.
- Язык запроса объясняет 26,5 % дисперсии ответов, в то время как идентичность бренда вносит вклад всего 1,5 % (ICC 0,0146).
- Чистая повторная выборка объясняет 34,8 % дисперсии, а взаимодействие бренда с контекстом — 29,6 %.
- Взаимодействия бренд-язык составляют 8,6 % дисперсии, что указывает на двуязычный штраф.
- Взаимодействия бренд-модель и бренд-промпт близки к нулю.
- Добавление языков и моделей снижает относительную ошибку дисперсии эффективнее, чем добавение повторов; пятый повтор уменьшает ошибку лишь на 0,0003.
Авторы приходят к выводу, что надёжность ранжирования брендов остаётся низкой (около 0,01 для одного ответа) и должна быть улучшена за счёт распределения оценок по языкам и моделям, а не путём повторения промптов.