Bonsai-27B 和 Ternary-Bonsai-27B 模型正在主线的 llama.cpp 仓库中得到更广泛的集成，二进制 Q1_0 支持现在在 CPU、Metal、CUDA 和 Vulkan 后端开箱即用。三元支持目前处于过渡阶段，CPU 和 Metal 后端已合并，而 CUDA 和 Vulkan 实现仍在审查或待定中。

  • 上游 llama.cpp 完全支持二进制 Q1_0 格式；MLX 支持仍通过单独的 pull request 等待中。
  • 存在三种三元 GGUF 变体：演示版的 group-128 Q2_0（仅分叉）、官方的 group-64 Q2_0（主线 CPU/Metal）以及计划的 PQ2_0 格式。
  • Bonsai-27B 保留了全精度的 89.5% 质量，而 Ternary-Bonsai-27B 保留了 94.6%，两者均指出代理式编码目前还不是主要焦点。
  • 三元模型约 7.2 GB 的体积超过了 iOS 内存预算，需要 1-bit MLX 变体用于移动端部署。

这些更新澄清了用户在各种硬件后端运行这些极端压缩模型时的当前兼容性状况。