llama.cpp 项目发布了 b10067 版本,其中包含对 `llama-quantize` 工具的修复,以正确处理 DeepSeek-V4 模型。该更新防止量化器尝试将 `ffn_gate_tid2eid` 张量(一个 i32 类型的 token-to-expert 索引表)转换为 float 类型。
- 将 `ffn_gate_tid2eid` 路由表排除在量化之外,以避免转换失败。
- 将该张量添加到基于名称的排除列表中,与 `ffn_gate_inp.weight` 并列。
- 解决了此前在 DeepSeek-V4 模型上量化失败的问题 #25754。
此更改允许用户成功量化 DeepSeek-V4 模型,而不会遇到与 integer-to-float 类型转换相关的错误。