Facebook 引入稀疏增量内存 (Sparse Delta Memory)，通过稀疏寻址扩展线性 RNN

Facebook 的研究人员引入了 Sparse Delta Memory (SDM)，这是一种架构，通过使用稀疏寻址方案，将门控线性 RNN 的隐藏状态扩展到数量级更高的容量。SDM 扩展了 Gated DeltaNet 架构，用对大型显式内存的稀疏读写替换了密集的键值外积。

• 在 isoFLOP 约束下且参数量相同的情况下，更高的状态内存容量显著提升了上下文学习 (in-context learning) 和长上下文检索任务的性能。
• 通过学习 SDM 内存的初始状态并将其用作参数化内存，模型在常识和推理任务上的表现进一步提升。

作者认为这很重要，因为增加线性注意力的状态大小通常会消耗更多的 FLOPs，而 SDM 能够在不增加计算惩罚的情况下实现更好的召回率 (recall)。