一项研究使用一次性神经元行置零技术对语言模型中的神经元选择器进行审计,以确定归因分数是否能识别出具有因果重要性的行。研究表明,在五个LLM中,归因方法在识别可忽略的行方面显著优于基于激活和幅度的基线。
- 被归因的行足以在仇恨和犯罪主题上安装拒绝行为,同时保持较低的良性过度拒绝并保留流畅性。
- 在同一深度处特定层匹配的随机控制在产生此效果方面失败,证实了因果有效性。
- 根据研究结果,高度秩稳定的选择器可能是因果有效性最低的。
- 拒绝行为存在于一个冗余子空间中,不同的归因方法通过 largely disjoint(很大程度上不相交)的行集来安装它。
作者得出结论,秩稳定性代理忽略了直接因果审计可以揭示的选择器故障,表明恢复的编辑是充分集合的一种实现,而非唯一机制。