演示表明，冻结引导文本的键值 (KV) 状态允许 Qwen2.5-3B-Instruct 模型在不将引导内容包含在实时提示中的情况下应用新指令。该方法涉及让引导文本通过模型一次，冻结其 KV 缓存，然后在该隐藏前缀之上生成响应。

  • 在一个使用虚构运算符的数学测试中，KV 引导模型正确计算了未见数字的结果，与可见文本注入的性能相匹配。
  • 在需要逐项列表的提取任务中，KV 方法在多个种子下从第一个令牌开始就产生了正确的输出，而可见注入需要显著的漂移，无引导尝试则完全失败。
  • 该方法被描述为一种隐藏的前编译前缀，而非计算机制，相较于可见提示填充提供了速度优势。

该技术通过利用冻结的 KV 状态而非显式文本上下文，实现了大型语言模型中的概念迁移和指令遵循。