一项研究通过比较大型语言模型如何处理客观与主观查询，挑战了“提示响应可靠反映模型价值观”这一假设。研究人员在三个客观数据集（MMLU、ARC、CulturalBench）和三个主观数据集（Political Compass Test、ValueBench、World Values Survey）上评估了四个经过指令调整的模型系列。通过对每个问题应用各种提示更改，他们测量了模型是否在变体之间保持一致的答案。

  • 使用二项式广义估计方程发现了模型、数据集、提示类别及其交互作用的显著影响。
  • 数据集类型与提示类别之间的相互作用特别大，表明鲁棒性根据问题的性质发生显著变化。
  • 结果表明，提示鲁棒性并非均匀一致，而是严重依赖于具体问题类型、应用的提示更改类型以及模型架构。

这些发现表明，将响应视为政治价值观或社会态度证据的调查式评估是脆弱的，因为不能假设在不同问题类型之间具有一致性。