Des chercheurs de Facebook ont introduit Sparse Delta Memory (SDM), une architecture qui met à l'échelle l'état caché des RNN linéaires à porte (gated linear RNNs) vers des capacités plusieurs ordres de grandeur plus élevées en utilisant un schéma d'adressage sparse. SDM étend l'architecture Gated DeltaNet en remplaçant le produit extérieur dense clé-valeur par des lectures et écritures sparse vers une mémoire explicite de grande taille.

  • Sous une contrainte isoFLOP et avec un nombre identique de paramètres, une capacité de mémoire d'état plus élevée améliore significativement les performances sur les tâches d'apprentissage in-context et de récupération de contexte long.
  • En apprenant l'état initial de la mémoire SDM pour l'utiliser comme mémoire paramétrique, le modèle améliore davantage les tâches de connaissances communes et de raisonnement.

Les auteurs considèrent cela important car l'augmentation de la taille de l'état dans l'attention linéaire coûte généralement plus de FLOPs, tandis que SDM obtient une meilleure capacité de rappel sans cette pénalité computationnelle.