研究人员证明，指令提示中与任务相关的信息可以通过使用中间层激活的学习加权总和，压缩为单个激活向量，然后将其重新注入目标 LLM 的早期层。

  • 该方法用压缩后的向量替换原始 token 序列，与完整提示处理相比，精度下降不到 2%。
  • 分析表明，中层表示有意义地传递到早期层，表明信息编码中的跨层兼容性。
  • 单个激活向量被证明编码了可量化且可恢复的语义信息量。
  • 该方法在不重新处理原始 token 序列的情况下，减少了固定指令提示的每次查询计算量。