一位独立研究人员发布了一篇预印本，详细介绍了一个拥有308万参数的DeepSeek风格Transformer模型，该模型利用经过训练的快权重记忆库，在推理过程中无需反向传播即可植入并应用从未训练过的规则。 该模型将其前向传播的输出写入一个8槽向量库中，随后通过超网络将这些输出读取为权重，从而在推理期间实现持续学习，无需测试时训练（TTT）、优化器或不断增长的上下文。 主要发现包括：

  • 单次13个token的呈现即可植入一条从未训练过的规则，在未见过查询上的准确率达到0.79–1.00，能够抵御槽位驱逐，并允许在对话中途替换规则且无旧规则残留。
  • 测试时训练能够拟合适应示例（准确率0.99），但在成本为每条规则更新138倍的情况下，对未见查询的迁移效果为零；而窗口内上下文学习仍停留在随机水平。
  • 记忆策略由训练分布决定；在训练期间随机化对话结构可植入必要的保持/覆盖/脏写行为，而固定结构会导致完全的 perseveration（固着）。

该工作表明，打破读写电路需要特定的训练技术，如教师强制引导的自举和退火，因为联合梯度存在一个忽略记忆库的不动点。 所有实验（包括在单张RTX 3090上进行的三次5小时训练运行）均可通过提供的代码和Zenodo DOI完全复现。