Facebookの研究者たちは、スパースデルタメモリ（SDM）を提案した。これは、スパースなアドレス指定スキームを用いて、ゲート付き線形RNNの隠れ状態を桁違いに高い容量へスケーリングするアーキテクチャである。SDMはGated DeltaNetアーキテクチャを拡張し、密なキー・バリューの外積を、大規模な明示的メモリに対するスパースな読み書きに置き換える。

  • isoFLOPの制約下で、かつパラメータ数が同一の場合、高い状態メモリ容量はコンテキスト内学習や長文脈検索タスクにおいてパフォーマンスを大幅に向上させる。
  • SDMメモリの初期状態をパラメトリックメモリとして利用するように学習させることで、モデルは一般的な知識や推論タスクにおいてさらに改善する。

著者たちはこれを重要視している。なぜなら、線形注意機構の状態サイズを増やす通常はより高いFLOPコストを伴うのに対し、SDMはその計算ペナルティなしにより良い想起を実現するからである。