ggml 项目已为 CPU 添加了 Q2_0 量化支持,专门用于启用 Ternary Bonsai 模型的使用。此更新完成了库内 Q1_0、Q2_0、Q4_0 和 Q8_0 量化系列。
- 该实现支持 ARM NEON 并包含通用标量回退方案。
- 它支持在 CPU 硬件上运行 1.7B、4B 和 8B Ternary Bonsai 模型。
- x86、Metal、CUDA 和 Vulkan 后端计划在未来提交。
此添加允许用户使用新支持的 Q2_0 格式在兼容的 CPU 上运行 Ternary Bonsai 模型。