연구자들은 대규모 언어 모델 내에서 수학적 해결 가능성 지식과 표현화(verbalization)의 내부 표현을 성공적으로 분리했으며, 이들이 서로 다른 선형 디코딩 가능한 벡터로 인코딩되어 있음을 보여 주었습니다. 이 연구는 모델의 fabrication이 근본적인 지식의 변화가 아니라 표현화의 변화에 의해 주로 주도된다는 것을 드러냈습니다.
- 지식과 표현화는 여러 LLM에 걸쳐 모델의 은닉 상태 내에서 별개의 잠재 방향성으로 식별됩니다.
- fabrication은 핵심 해결 가능성 지식이 아닌 표현화 표현의 변화와 상관관계가 있습니다.
- 비해결 가능성 단서를 사용한 프롬프팅은 표현화 방향으로 전환하여 fabrication을 줄입니다.
- 활성화 스티어링(Activation steering)을 통해 이러한 표현을 기계적으로 조작하여 모델의 abstention을 개선할 수 있습니다.
이 작업을 통해 해결 가능성 신념을 독립적으로 분석하고 조작할 수 있으며, 모델이 언제 답변을 거부해야 하는지에 대해 더 효과적인 제어를 가능하게 합니다.