研究者らは、大規模言語モデル内の数学的解決可能性の知識と言語化の内部表現を解離することに成功し、これらが別々の線形デコード可能なベクトルとしてエンコーディングされていることを示した。本研究は、モデルの生成( fabrication )は根本的な知識の変化ではなく、言語化の変化によって主に駆動されていることを明らかにしている。
- 知識と言語化は、複数のLLMにわたるモデルの隠れ状態における別々の潜在方向性として特定される。
- 生成は、中核的な解決可能性の知識ではなく、言語化表現の変化と相関する。
- 非解決可能性の手がかりを用いたプロンプティングは、言語化方向へシフトさせることで生成を減少させる。
- アクティベーション・ステアリングにより、これらの表現を機械的に操作し、モデルのAbstention(回答拒否)を改善できる。
この研究により、解決可能性の信念を独立して分析および操作することが可能になり、モデルがいつ回答を拒否すべきかについてより効果的な制御を実現する。