Исследователи из Facebook представили Sparse Delta Memory (SDM), архитектуру, которая масштабирует скрытое состояние вентильных линейных RNN до емкости на порядки выше с использованием схемы разреженного адресования. SDM расширяет архитектуру Gated DeltaNet, заменяя плотное внешнее произведение ключ-значение на разреженные чтения и записи в большую явную память.

  • При ограничении isoFLOP и идентичном количестве параметров более высокая емкость памяти состояния значительно улучшает производительность в задачах обучения в контексте (in-context learning) и извлечения информации по длинному контексту.
  • За счет обучения начального состояния памяти SDM для использования в качестве параметрической памяти модель дополнительно улучшает результаты на задачах общих знаний и рассуждений.

Авторы считают это важным, поскольку увеличение размера состояния линейного внимания обычно требует большего количества FLOPs, тогда как SDM обеспечивает лучший recall без этого вычислительного штрафа.