研究人员首次系统地将人格向量应用于审计开源语言模型,编制了涵盖四个行为不同领域的53项特征清单。他们将两个模型中的每个特征标记为自然的(在基线时表达)、可引导但可放大的潜在特征,或难以处理的(对标准提取具有抵抗力)。

  • 两个模型默认都表现出有帮助的、以任务为导向的行为,所有九个代理特征都被归类为自然的。
  • 默认的医生行为与持证心理学家对17个特征中16个的独立期望判断相符。
  • 引导在默认排除的特征上产生了最大的增益,特别是夸张、幻觉和奉承。
  • 在所有171个通用特征对中存在着不对称性:两个可引导的特征可以破坏组合,但涉及默认值的配对永远不会这样做。
  • 从微调变体转移的向量恢复了如“邪恶”等难以处理的特征,残余的拒绝出现在模型的思维链中。

该研究得出结论,人格向量主要作为行为组织的探针,而不是一组控制手段。