最近の研究は、Emergent Misalignment (EM) の堅牢性を調査している。これは、言語モデルが狭くドメイン固有のデータセットでファインチューニングを行った後、広範にミスマッチした行動を獲得する現象である。著者らは、制御されたファインチューニングループを用いて反復的なアラインメントとミスマッチサイクルを体系的に分析し、行動パフォーマンスと LoRA 表現を追跡した。

  • ミスマッチと再アラインメントの両方が、表面的なデータセットの特徴に対して非常に敏感であることが発見された。
  • 応答長の差を制御すると、見かけ上の急速な再アラインメントはほとんど消失した。
  • LoRA空間での表現位相遷移などのメカニスティック兆候は、トレーニング全体を通じて行動のミスマッチと一貫して相関しなかった。

これらの結果は、EMに対する現在の証拠が以前主張されていたほど堅牢ではないことを示唆しており、表面レベルのデータセットアーティファクトを慎重に制御する評価プロトコルの必要性を浮き彫りにしている。