Facebook memperkenalkan Sparse Delta Memory untuk skala RNN linear melalui pengalamatan sparse

Peneliti di Facebook telah memperkenalkan Sparse Delta Memory (SDM), sebuah arsitektur yang meningkatkan keadaan tersembunyi dari RNN linear gated ke kapasitas jauh lebih tinggi menggunakan skema pengalamatan sparse. SDM memperluas arsitektur Gated DeltaNet dengan mengganti produk luar kunci-nilai padat dengan bacaan dan tulis sparse ke memori eksplisit besar.

• Di bawah batasan isoFLOP dan dengan jumlah parameter yang identik, kapasitas memori keadaan yang lebih tinggi secara signifikan meningkatkan kinerja pada tugas pembelajaran konteks-dalam dan pengambilan konteks panjang.
• Dengan mempelajari keadaan awal memori SDM untuk digunakan sebagai memori parametrik, model semakin meningkatkan tugas pengetahuan umum dan penalaran.

Para penulis menganggap ini penting karena peningkatan ukuran keadaan pada perhatian linear biasanya membutuhkan FLOP lebih tinggi, sedangkan SDM mencapai recall yang lebih baik tanpa biaya komputasi tersebut.