一位研究者提出了WideNDepth (WND)，这是一种将知识存储与推理过程解耦的神经网络架构。该设计使用宽层（Wide Layer）和编码器（Encoder）生成存储在特征库（Feature Bank）中的丰富表示，而独立的深度层（Depth Layer）则通过压缩状态处理迭代推理。

  • 宽层包含更丰富的信息，由编码器处理成存储在特征库中的表示。
  • 压缩器（Compressor）将此表示缩减为较小的状态以供深度层使用。
  • 深度层对压缩状态进行逐步推理，并在需要时使用基于注意力的检索来访问特征库。
  • 在涉及长链和中等难度的图推理任务中，拥有约100K参数的WND模型在性能、训练速度、样本效率和占用空间方面均优于拥有约600K参数的Transformer基线模型。

作者指出，宽层和编码器目前主导了工作负载，导致深度层利用不足，并正在寻求限制这些组件的方法，使其仅专注于为推理层生成有用的信息。