一位研究者介绍了 BCMT，这是一种用于长上下文语言建模的新架构，用分块操作替换了密集的全局自注意力。该模型结合了局部因果注意力、自适应上下文摘要和因果记忆传播，以高效地捕获长距离依赖关系。
- 对于固定的块大小，计算复杂度从 O(T²) 降低到 O(TL)。
- 实现包括完整的架构、仅 H (H-only) 的消融实验以及标准的 Transformer 基线。
- 在 WikiText-103 上的实验显示，验证困惑度接近密集 Transformer，同时具有更高的吞吐量和更低的 GPU 内存使用量。
该项目是开源的，提供了 PyTorch 代码和训练脚本供社区审查。