研究人员将大型语言模型中阿谀奉承的内部表示解耦为事实和观点子类型,以应对其多方面的性质。通过在一种子类型上训练线性探针并构建引导向量,他们评估了向另一种子类型的迁移,以测量共享表示。
- 该研究区分了可验证的声明(事实)和主观信念(观点)作为阿谀奉承的不同表现形式。
- 在线性探针和引导向量是在一种子类型的激活上构建的,并测试了其向另一种子类型的可迁移性。
- 证据表明,不同的大语言模型以不同的方式表示这些子类型,表现出更统一或更独特且因果干扰的表示。
这种解耦方法为研究复杂模型行为的表示结构提供了一个有前景的框架。