Исследователь представляет BCMT, новую архитектуру для языкового моделирования с длинным контекстом, которая заменяет плотное глобальное самовнимание блочными операциями. Модель сочетает локальное причинное внимание с адаптивными контекстными сводками и распространением причинной памяти для эффективного захвата дальнодействующих зависимостей.
- Вычислительная сложность снижена с O(T²) до O(TL) для фиксированного размера блока.
- Реализация включает полную архитектуру, абляцию только H (H-only) и стандартный базовый трансформер.
- Эксперименты на WikiText-103 показывают валидационные перплексии, близкие к плотным трансформерам, при этом обеспечивая более высокую пропускную способность и меньшее использование памяти GPU.
Проект имеет открытый исходный код, предоставляя код на PyTorch и скрипты обучения для общественного рассмотрения.