研究人员证明，指令提示中与任务相关的信息可以压缩为单个激活向量，并重新注入大型语言模型中，从而替换原始的标记序列。这是通过对在中间层提取并在早期层注入的激活的学习加权和来实现的。

  • 压缩后的向量保留了与任务相关的信息，相对于完整提示处理，准确率下降不到2%。
  • 中间层的表示有意义地传递到早期层，表明信息编码方式具有跨层兼容性。
  • 单个激活向量编码了可量化且可恢复的语义信息量。
  • 激活的加权和作为一种稳健的表示压缩器。

这种方法减少了固定指令提示的每次查询计算量，而无需重新处理原始标记序列。