llama.cpp 项目将其 Metal 后端的操作融合模式整合到单个表中,供图优化器和操作编码器共享。此更改还修正了绝对输出索引中的一个错误,该错误导致令牌生成速度出现约 5% 的回归。
- 所有可融合的操作模式现在仅在 ggml-metal-fuse.cpp 中声明一次,确保优化阶段和计算阶段之间的一致性。
- 对绝对图节点索引的修复防止了融合模式的最后一个节点被错误地应用使用计数检查,从而恢复了 norm/MUL 融合。
- 新增支持允许 gating_delta_net 内核与缓存复制操作融合,直接将快照写入 KV 缓存缓冲区。
- 'raw' 融合标志已重命名为 'unsafe',以明确模式特定的回调充当唯一的安全验证器。
- 新的临时 API 提供了后端无关的融合统计信息用于测试,包括通过 NMSE 比较融合与非融合 logits 的回归测试套件。
这些更新通过统一融合逻辑提高了代码可维护性,并恢复了以前版本中因静默融合失败而导致的性能损失。