大規模言語モデル（LLM）のブランド推奨における非確実性の分散を、プロンプト内再サンプリング、プロンプトのパラフレーズ、モデルのアイデンティティ、クエリ言語という4つの分離可能な要因に分解する研究が行われた。3つのモデルと8つの言語にわたる12,933件の回答に対して交差ランダム効果分析を実施した結果、クエリ言語が分散の最大要因である26.5%を占めることが特定され、ブランドアイデンティティはわずか1.5%であった。

  • クエリ言語は応答分散の26.5%を説明し、一方ブランドアイデンティティはわずか1.5%（ICC 0.0146）に寄与するのみである。
  • 純粋な再サンプリングは分散の34.8%を占め、文脈内のブランドとの相互作用は29.6%を説明する。
  • ブランドと言語の相互作用は分散の8.6%を占め、バイリンガルペナルティを示唆している。
  • ブランドとモデル、およびブランドとプロンプトの相互作用はほぼゼロである。
  • 言語とモデルを追加することは、反復数を増やすことよりも相対誤差分散を効果的に低減する；5回目の反復では誤差は0.0003しか減少しない。

著者らは、ブランドランキングの信頼性は依然として低い（単一の回答で約0.01）と結論付け、プロンプトの反復ではなく、言語やモデルにわたって評価を分散させることで改善する必要があると述べている。