Percepta 推出了一种名为 Spotlight 的新型神经网络架构，它用可写的、无界的记忆系统取代了传统的注意力机制。这种设计使得模型的知识与技能得以增长，而无需更改模型的权重或增加每个 token 的访问成本。

  • Spotlight 将用于计算的智能模块与存储知识和程序的内存分离开来。
  • 该架构具有任意稀疏性，随着容量的增长，已使用内存的比例可以缩小。
  • 模型逐 token 决定加载和覆盖哪些内容，从而能够在不重新训练的情况下实现新能力。
  • 与 mixture-of-experts 模型不同，无论总内存大小如何，Spotlight 仅访问少量单元。

这种分离使得智能模块的大小保持固定，而内存可以扩展，理论上可以在不增加访问期间计算开销的情况下实现无限增长的内存。