Investigadores de Facebook han introducido Sparse Delta Memory (SDM), una arquitectura que escala el estado oculto de las RNN lineales con compuertas a una capacidad órdenes de magnitud mayor utilizando un esquema de direccionamiento disperso. SDM extiende la arquitectura Gated DeltaNet reemplazando el producto exterior denso clave-valor por lecturas y escrituras dispersas en una memoria explícita grande.

  • Bajo una restricción isoFLOP y con un número idéntico de parámetros, una mayor capacidad de memoria de estado mejora significativamente el rendimiento en tareas de aprendizaje in-contexto y recuperación de contexto largo.
  • Al aprender el estado inicial de la memoria SDM para usarlo como memoria paramétrica, el modelo mejora aún más en tareas de conocimiento común y razonamiento.

Los autores consideran esto importante porque aumentar el tamaño del estado de la atención lineal típicamente cuesta FLOPs adicionales, mientras que SDM logra un mejor recall sin esa penalización computacional.