llama.cpp 项目在 ggml 中引入了新的 `GGML_OP_LIGHTNING_INDEXER` 操作,以实现 DeepSeek V3.2 和 V4 模型使用的闪电索引器。
- 实现从运算符中移除了缩放参数,并添加了 f16 掩码参数。
- 包括对闪电索引器掩码广播的修复,并检查输入张量是否未转置。
- 添加了测试以验证新操作,计算 FLOPs 而非带宽。
- `llama` 组件现在为 DeepSeek V3.2 和 DeepSeek V4 模型使用此新运算符。
此更新在 llama.cpp 框架内实现了对 DeepSeek 最新架构的高效推理支持。