Une étude décompose la non-déterminisme dans les recommandations de marque par les grands modèles de langage (LLM) en quatre sources séparables : le resampling intra-prompt, la paraphrase du prompt, l'identité du modèle et la langue de requête. Une analyse à effets aléatoires croisés sur 12 933 réponses couvrant trois modèles et huit langues a permis aux auteurs d'identifier la langue de requête comme la plus grande source de variance avec 26,5 %, tandis que l'identité de la marque ne représente que 1,5 %.
- La langue de requête explique 26,5 % de la variance des réponses, alors que l'identité de la marque contribue seulement à 1,5 % (ICC 0,0146).
- Le resampling pur représente 34,8 % de la variance, et l'interaction marque-dans-contexte explique 29,6 %.
- Les interactions marque-langue représentent 8,6 % de la variance, indiquant une pénalité bilingue.
- Les interactions marque-modèle et marque-prompt sont proches de zéro.
- L'ajout de langues et de modèles réduit plus efficacement la variance d'erreur relative que l'ajout de répétitions ; la cinquième répétition ne réduit l'erreur que de 0,0003.
Les auteurs concluent que la fiabilité du classement des marques reste faible (proche de 0,01 pour une réponse unique) et doit être améliorée en répartissant les évaluations entre langues et modèles plutôt qu'en répétant les prompts.