研究者らは、指示プロンプト内のタスク関連情報を単一の活性化ベクトルに圧縮し、大規模言語モデルに再注入することで、元のトークンシーケンスを置き換えられることを実証しました。これは、中間層で抽出された活性化の学習済み加重和を用い、初期層で注入することで実現されます。
- 圧縮ベクトルは、フルプロンプト処理と比較して2%未満の精度低下でタスク関連情報を保持します。
- 中間層の表現が初期層へ意味的に移行可能であり、情報がエンコードされる方法における層間互換性を示唆しています。
- 単一の活性化ベクトルは、定量化可能かつ回復可能な量の意味情報をエンコードします。
- 活性化の加重和は、堅牢な表現圧縮器として機能します。
このアプローチは、元のトークンシーケンスの再処理を必要とせず、固定された指示プロンプトに対するクエリあたりの計算量を削減します。