BDLM Mamba-H restreint le scan inverse pour permettre un cache exact dans les modèles de diffusion hybrides

Les chercheurs proposent un modèle de langage de diffusion par blocs (BDLM) hybride combinant les architectures Mamba et attention, qui répond aux défis de mise en cache inhérents aux modèles de diffusion hybrides antérieurs. En limitant le scan inverse Mamba au seul bloc de débruitage actif, la méthode permet une réutilisation exacte du cache KV entre les blocs, surmontant la limitation du préfixe uniquement des scans de séquence complète.

• L'architecture BDLM Mamba-H restreint le scan inverse au bloc de débruitage actif, permettant une mise en cache précise lors de la diffusion bloc par bloc.
• Lors d'un balayage de 87M paramètres sur DCLM, BDLM Mamba-H atteint la meilleure perplexité de validation C4-en par rapport aux bases de référence BDLM attention et séquence complète.
• À 350M paramètres, le modèle reste compétitif par rapport à BDLM attention en termes de métriques de performance.
• Pour l'inférence à contexte long, BDLM Mamba-H atteint 19,7x le débit de DiffuMamba-H à séquence complète à 65K tokens et 3,7x le débit de BDLM attention à 262K.

Cette approche démontre que les hybrides Mamba sont une architecture viable pour la diffusion à contexte long, offrant des améliorations significatives du débit tout en maintenant une perplexité compétitive.