Facebook가 희소 주소 지정을 통해 선형 RNN의 확장성을 위해 Sparse Delta Memory를 소개하다

Facebook 연구진은 게이트드 선형 RNN의 은닉 상태를 희소 주소 지정 방식을 사용하여 훨씬 더 높은 용량으로 확장하는 아키텍처인 Sparse Delta Memory(SDM)를 도입했습니다. SDM은 밀집된 키-값 외적 대신 대규모 명시적 메모리에 대한 희소 읽기 및 쓰기를 사용함으로써 Gated DeltaNet 아키텍처를 확장합니다.

• 동일한 FLOP 제약 조건과 동일한 매개변수 수에서 더 높은 상태 메모리 용량은 문맥 내 학습 및 긴 문맥 검색 작업에서 성능을 크게 향상시킵니다.
• SDM 메모리의 초기 상태를 학습하여 매개변수형 메모리로 사용함으로써 모델은 공통 지식 및 추론 작업에서도 성능이 더욱 개선됩니다.

저자들은 선형 어텐션의 상태 크기를 늘리는 것이 일반적으로 더 높은 FLOP 비용을 초래하는 반면, SDM은 그러한 연산적 페널티 없이 더 나은 검색 성능을 달성하기 때문에 이를 중요하게 여깁니다.