FlashMorph是一种新颖的方法，通过将Transformer模型转换为混合架构，在优化层选择作为预算约束的子集问题的同时，平衡全注意力精度与线性注意力效率。该方法构建了一个具有并行注意力分支的可变形模型，并在合成数据上联合优化逐层门控以确定最佳配置。
- FlashMorph将混合层选择表述为预算约束的子集优化问题，而非依赖启发式策略。
- 它为每个全注意力层配备了一个转换后的线性注意力分支，并在优化逐层门控时冻结模型权重。
- 线性化正则化鼓励在门控优化过程中依赖线性注意力以提高效率。
- 学习到的门控在预设的全注意力预算下进行离散化，以实例化最终的混合架构。
- 该方法在实例化后采用标准的logits蒸馏和长上下文微调。
FlashMorph发现了更有效的混合配置，在大幅降低层选择成本的同时，保持了强大的长上下文召回率和通用基准性能。