独立研究员 Jason Van Pham 的一篇预印本提出,在冻结模型之间翻译连续表示,以实现无需权重编辑的引导、回忆和推理。该工作引入了一种方法,将概念编译为一个模型空间中的残差方向,并通过仿射变换映射到另一个模型的隐藏层。

  • 在第一个实验中,向 Qwen2.5-0.5B 的概念方向添加负增益,使虚构生物提示下的生成从活体动物解读转向物体语言(例如,“便携式炉灶”)。
  • 第二种机制将来自 Qwen3-Embedding-8B 的有序片段映射到 Llama-3.1-8B 的输入槽中,允许目标模型重建临时命题并支持匹配推理。
  • 嵌入阶段的秩 128 压缩保留了成对相似性(r=0.937),但降低了重建质量,表明在词元身份之前,检索几何结构在压缩下得以幸存。
  • 作者明确限制了主张,指出该方法不是微调、KV-cache 记忆,也不是一般语义反转的证明。

该研究确立了特定提示族上的符号敏感残差状态转换,并证明紧凑反转和有序回忆是跨模型信息传输的不同操作点。