研究者らは、指示プロンプト内のタスク関連情報を、中間層の活性化の学習された加重和を用いて単一の活性化ベクトルに圧縮し、それをターゲットLLMの初期層に再注入できることを実証した。

  • この手法は元のトークンシーケンスを圧縮ベクトルで置き換え、完全なプロンプト処理と比較して2%未満の精度低下をもたらす。
  • 分析により、中間層の表現が意味のある形で初期層へ転送されることが示され、情報エンコーディングにおける層間互換性が示唆された。
  • 単一の活性化ベクトルが、定量化可能かつ回復可能な量の意味情報を符号化できることが示された。
  • このアプローチは、元のトークンシーケンスの再処理を必要とせずに、固定された指示プロンプトに対するクエリあたりの計算量を削減する。