ある研究は、ワンショット・ニューロン行ゼロ化を用いて言語モデルのニューロンセレクターを監査し、帰属スコアが因果的に重要な行を特定できるかどうかを調べた。この研究は、帰属手法が5つのLLMにわたって不要な行の特定において、活性化や大きさに基づくベースラインを大幅に上回ることを示した。

  • 帰属された行は、有害犯罪トピックにおける拒否をインストールしつつ、良性の過剰拒否を低く保ち、流暢性を維持するのに十分である。
  • 同じ深さでの層対応ランダム制御はこの効果を生成せず、因果的妥当性を確認する。
  • 研究結果によると、高いランク安定性を持つセレクターは因果的に最も妥当でない場合がある。
  • 拒否は冗長な部分空間に存在し、異なる帰属手法が主に互いに素な行セットを通じてこれをインストールする。

著者らは、ランク安定性のプロキシが直接の因果監査で浮上する可能性のあるセレクターの失敗を見逃すことを結論付け、回復された編集は十分条件の集合の実現の一つであり、固有のメカニズムではないことを示した。