一项针对162名参与者的对照研究表明，用户对大型语言模型的评估主要受交互前框架的影响，而非模型的真实能力。参与者被告知他们的模型是前沿的、较旧的或比实际更弱的，这显著改变了他们的观点和交互行为，尽管底层性能相同。
- 被高估的用户对模型的评价更 favorable，并使用更多指令性提示。
- 被低估的用户编写了更长、更具协作性的提示。
- 共同创作输出的质量仅取决于模型的真实能力，而非用户被告知的内容。
- 用户印象的变化由模型是否满足期望和用户信心预测，而非任务性能。
研究结果表明，包括用于公共排行榜的偏好数据在内的用户诱导的大语言模型评估，至少同样衡量了期望管理，而非模型本身。