BDLM Mamba-H membatasi pemindaian balik untuk mengaktifkan caching tepat pada model difusi hibrida

Peneliti mengusulkan Model Bahasa Difusi Blok Hibrida (BDLM) yang menggabungkan arsitektur Mamba dan perhatian, yang mengatasi tantangan caching yang melekat pada model difusi hibrida sebelumnya. Dengan membatasi pemindaian balik Mamba hanya pada blok denoising aktif, metode ini memungkinkan penggunaan ulang cache KV yang tepat di seluruh blok, mengatasi keterbatasan prefix-only dari pemindaian urutan penuh.

• Arsitektur BDLM Mamba-H membatasi pemindaian balik ke blok denoising aktif, memungkinkan caching presisi selama difusi per-blok.
• Dalam sweep 87M parameter pada DCLM, BDLM Mamba-H mencapai perplexitas validasi C4-en terbaik dibandingkan dengan BDLM attention dan baseline urutan penuh.
• Pada 350M parameter, model tetap kompetitif dengan BDLM attention dalam hal metrik kinerja.
• Untuk inferensi konteks panjang, BDLM Mamba-H mencapai throughput 19,7x dari DiffuMamba-H urutan penuh pada 65K token dan 3,7x throughput dari BDLM attention pada 262K.

Pendekatan ini menunjukkan bahwa hibrida Mamba adalah arsitektur yang layak untuk difusi konteks panjang, menawarkan peningkatan throughput yang signifikan sambil mempertahankan perplexitas yang kompetitif.