Исследователи предлагают гибридную модель языка на основе блочной диффузии (BDLM), сочетающую архитектуры Mamba и внимания, которая решает проблемы с кэшированием, присущие более ранним гибридным диффузионным моделям. Ограничивая обратное сканирование Mamba только активным блоком денормализации, метод обеспечивает точное повторное использование KV-кэша между блоками, преодолевая ограничение префиксного кэширования при полном последовательном сканировании.
- Архитектура BDLM Mamba-H ограничивает обратное сканирование активным блоком денормализации, обеспечивая точное кэширование при блочной диффузии.
- В исследовании с 87 миллионами параметров на DCLM модель BDLM Mamba-H демонстрирует наилучшую перплексию валидации C4 по сравнению с BDLM attention и базовыми моделями полного последовательного сканирования.
- При 350 миллионах параметров модель остаётся конкурентоспособной с BDLM attention по показателям производительности.
- Для вывода длинных контекстов BDLM Mamba-H достигает пропускной способности в 19.7 раза выше, чем у полного последовательного DiffuMamba-H при 65K токенов, и в 3.7 раза выше, чем у BDLM attention при 262K.
Этот подход демонстрирует, что гибриды Mamba являются жизнеспособной архитектурой для диффузии с длинными контекстами, обеспечивая значительное увеличение пропускной способности при сохранении конкурентоспособной перплексии.