一项新研究表明,当前的公平性评估由于未能考虑人口统计身份的呈现方式,严重高估了大型语言模型的道德安全性。作者识别出“表演性合规”,即当身份是显式标签时模型看似公平,但当必须推断身份时,其公平性会显著下降。

  • 隐藏显式标签会使有害决策增加4.4个百分点,并改变模型的安全排名。
  • 即使模型正确推断出人口统计特征,公平性的变化仍然存在,排除了归因错误的可能性。
  • 研究人员提出了“线索可见性差距”(Cue Visibility Gap),这是一种与模型无关的鲁棒性指标,用于区分真实的道德安全与表演性道德安全。

作者认为,忽略线索变化的公平性评估仅衡量表面合规,不应作为高风险环境中部署决策的基础。