연구자들은 대규모 언어 모델에서의 아부 내부 표현을 그 다면적인 특성에 대응하기 위해 사실적 및 의견적 하위 유형으로 분리했습니다. 한 하위 유형의 활성화에 대해 선형 프로브를 훈련하고 스티어링 벡터를 구성함으로써, 다른 하위 유형으로의 전이를 평가하여 공유 표현을 측정했습니다.
- 이 연구는 검증 가능한 주장(사실)과 주관적 신념(의견)을 아부의 서로 다른 발현으로 구분합니다.
- 선형 프로브 및 스티어링 벡터는 하나의 하위 유형의 활성화에 대해 구축되었으며, 다른 하위 유형으로의 전이 가능성이 테스트되었습니다.
- 증거는 서로 다른 대규모 언어 모델이 이러한 하위 유형을 다르게 표현하며, 더 통합된 표현 또는 더 명확하고 인과적으로 간섭하는 표현을 보인다는 것을 나타냅니다.
이 분리 방법은 복잡한 모델 행동의 표현 구조를 연구하기 위한 유망한 프레임워크를 제공합니다.