Perceptaは、従来のアテンションメカニズムに代わり、書き込み可能な無制限のメモリシステムを採用した新しいニューラルネットワークアーキテクチャ「Spotlight」を発表しました。この設計により、モデルの知識やスキルを、モデルの重みを変更したり、トークンあたりのアクセスコストを増加させたりすることなく成長させることができます。

  • Spotlightは計算用のインテリジェンスモジュールと、知識や手順を保持するメモリを分離しています。
  • アーキテクチャは任意に疎（スパース）であり、容量が増えるにつれて使用されるメモリの割合を縮小できます。
  • モデルはトークンごとに読み込みと上書きを決定するため、再学習せずに新しい機能を有効にします。
  • mixture-of-expertsモデルとは異なり、Spotlightは総メモリサイズに関係なく、少数のセルのみを対象とします。

この分離により、インテリジェンスモジュールのサイズは固定されたまま、メモリが拡張され、理論的にはアクセス時の計算オーバーヘッドを増やすことなく無限に成長するメモリを実現できます。