一项研究将大型语言模型(LLM)品牌推荐中的非确定性分解为四个可分离的来源:提示内重采样、提示改写、模型身份和查询语言。通过对三个模型和八种语言的12,933条响应进行交叉随机效应分析,作者确定查询语言是最大的方差来源,占26.5%,而品牌身份仅占1.5%。

  • 查询语言解释了26.5%的响应方差,而品牌身份仅贡献1.5%(ICC 0.0146)。
  • 纯重采样占方差的34.8%,上下文中的品牌交互占29.6%。
  • 品牌与语言的交互占方差的8.6%,表明存在双语惩罚。
  • 品牌与模型、品牌与提示的交互接近零。
  • 增加语言和模型比增加重复次数更能有效降低相对误差方差;第五次重复仅将误差减少0.0003。

作者得出结论,品牌排名可靠性仍然很低(单次回答约为0.01),必须通过在语言和模型之间分散评估而非重复提示来提高。