一项研究表明，在缺乏参考答案的环境中，当不提供标准答案时，基于大型语言模型（LLM）的裁判倾向于对开放式回答过于宽容。研究证明，这些模型经常错误地认可错误答案，并且它们的判断对参考信息的存在高度敏感。
- 校准实验评估了裁判模型对其所评估任务的知识掌握程度。
- 敏感性实验测量了性能如何根据参考答案的存在和位置而变化。
- 在三种语言中，添加参考答案信息在某些设置下使正确/错误的决策翻转幅度高达85%。
- 与其中一部分人工标注进行比较时，这些由参考驱动的变化通常与人类标注一致。
作者强调，在可靠地将其用于无参考设置之前，需要使用感知参考的评估样本来校准LLM裁判。