Flash-MSA 是一种旨在通过利用稀疏注意力内核来加速包含数百万个 token 的序列模型训练的方法。

该方法专注于在长上下文场景的训练阶段优化计算效率。

这项工作旨在解决大语言模型中处理极长序列所相关的可扩展性挑战。