3つのファミリーに属する17モデルの研究により、整列済み言語モデルは中期層（深さ25-90%）で誤った答えに一時的にコミットし、後期層のメカニズムによって補正されることが多いことが明らかになった。この「誤答ディップ」は活性化移植を通じて因果的に検証され、整列レシピやモデル規模に応じて大きく変化する。

  • 因果的な誤答ディップの増幅はレシピ固有であり、Qwen2.5では32Bでピークに達し、Llama-3-8Bでは逆転する。
  • ディップが大きいアイテムは、後期層での低ランク圧縮やプルーニング下で失敗する確率が3〜7倍高い一方で、量子化に対しては頑健である。
  • 中期層の誤答マージンペナルティを用いたLoRAファインチューンは、精度を犠牲にすることなく因果的なディップを67-70%削減する。
  • 出力のみを用いたSFTは、表面精度が完璧であっても因果的なディップを最大2.8倍悪化させる。
  • この現象は自然言語のI/Oでも持続し、脆弱性をディップ監査可能な後期救済層とディップ非対応のインターフェース層に分離する。

著者らは、出力レベルでの正解性が、圧縮リスク、ポストトレーニング品質、評価歪曲を支配する後期救済プロセスを隠蔽している可能性があると結論づけている。