Pesquisadores propõem um Modelo de Linguagem de Difusão por Blocos (BDLM) híbrido que combina arquiteturas Mamba e de atenção, abordando os desafios de armazenamento em cache inerentes aos primeiros modelos de difusão híbridos. Ao restringir a varredura reversa do Mamba apenas ao bloco de desruído ativo, o método permite a reutilização exata do cache KV entre blocos, superando a limitação de prefixo das varreduras de sequência completa.
- A arquitetura BDLM Mamba-H restringe a varredura reversa ao bloco de desruído ativo, permitindo armazenamento em cache preciso durante a difusão bloco a bloco.
- Em uma busca com 87M de parâmetros no DCLM, o BDLM Mamba-H alcança a melhor perplexidade de validação C4-en em comparação com o BDLM attention e as bases de sequência completa.
- Com 350M de parâmetros, o modelo permanece competitivo com o BDLM attention em termos de métricas de desempenho.
- Para inferência de contexto longo, o BDLM Mamba-H atinge 19,7 vezes a taxa de transferência do DiffuMamba-H de sequência completa em 65K tokens e 3,7 vezes a taxa de transferência do BDLM attention em 262K.
Esta abordagem demonstra que os híbridos Mamba são uma arquitetura viável para difusão de contexto longo, oferecendo melhorias significativas na taxa de transferência enquanto mantêm perplexidade competitiva.