Pesquisadores do Facebook introduziram o Sparse Delta Memory (SDM), uma arquitetura que escala o estado oculto de RNNs lineares com portas para uma capacidade ordens de magnitude maior usando um esquema de endereçamento esparsa. O SDM estende a arquitetura Gated DeltaNet substituindo o produto externo denso chave-valor por leituras e escritas esparsas em uma memória explícita grande.
- Sob uma restrição isoFLOP e com um número idêntico de parâmetros, uma capacidade de memória de estado maior melhora significativamente o desempenho em tarefas de aprendizado in-contexto e recuperação de contexto longo.
- Ao aprender o estado inicial da memória SDM para usá-la como memória paramétrica, o modelo melhora ainda mais em tarefas de conhecimento comum e raciocínio.
Os autores consideram isso importante porque aumentar o tamanho do estado da atenção linear tipicamente custa FLOPs adicionais, enquanto o SDM alcança um recall melhor sem essa penalidade computacional.