llama.cpp 项目已为 Apple Silicon 上 MiniCPM3 使用的特定配置添加了 Flash Attention (FA) 内核支持。此更改解决了因缺少注意力键长 96 和值长 64 的内核实例化而导致 `-fa auto` 标志中止的问题。
- 为所有已支持 (96, 96) 的 K/V 类型添加了 (96, 64) 的 tile 内核。
- 为 NE=4 配置添加了 vec 内核,因为这是 NL 同时整除 DK/4 和 DV/4 的唯一值。
- 更新测试以避免冗余的 FA vec slice 覆盖。
此更新使 MiniCPM3 模型能够在 macOS 和 iOS 设备上启用 Flash Attention 运行,而不会遇到内核错误。