研究者は、大規模言語モデルにおける迎合の内部表現を、その多面的な性質に対処するため、事実的および意見的サブタイプに分離した。あるサブタイプの活性化に対して線形プローブを訓練しステアリングベクトルを構築することで、他のサブタイプへの転移を評価し、共有表現を測定した。

  • 本研究は、検証可能な主張(事実)と主観的信念(意見)を迎合の異なる現れとして区別する。
  • 線形プローブおよびステアリングベクトルは1つのサブタイプの活性化に対して構築され、他のサブタイプへの転移可能性がテストされた。
  • 証拠により、異なる大規模言語モデルはこれらのサブタイプを異なって表現し、より統合された表現またはより明確で因果的に干渉する表現を示すことがわかった。

この分離手法は、複雑なモデル行動の表現構造を研究するための有望な枠組みを提供する。