Los investigadores proponen un Modelo de Lenguaje de Difusión por Bloques Híbrido (BDLM) que combina arquitecturas Mamba y de atención, abordando los desafíos de almacenamiento en caché inherentes a los primeros modelos de difusión híbridos. Al restringir el barrido inverso de Mamba únicamente al bloque de desvanecimiento activo, el método permite la reutilización exacta del caché KV entre bloques, superando la limitación de solo prefijo de los barridos de secuencia completa.

  • La arquitectura BDLM Mamba-H restringe el barrido inverso al bloque de desvanecimiento activo, permitiendo un almacenamiento en caché preciso durante la difusión bloque por bloque.
  • En una exploración de 87M parámetros en DCLM, BDLM Mamba-H logra la mejor perplejidad de validación C4-en en comparación con BDLM attention y las líneas base de secuencia completa.
  • Con 350M parámetros, el modelo sigue siendo competitivo con BDLM attention en términos de métricas de rendimiento.
  • Para inferencia de contexto largo, BDLM Mamba-H alcanza 19.7 veces el rendimiento de BDLM DiffuMamba-H de secuencia completa a 65K tokens y 3.7 veces el rendimiento de BDLM attention a 262K.

Este enfoque demuestra que los híbridos Mamba son una arquitectura viable para la difusión de contexto largo, ofreciendo mejoras significativas en el rendimiento mientras mantienen una perplejidad competitiva.