PrismML发布了Bonsai 27B，这是对Qwen3.6-27B模型的低比特量化版本，能够在不重新训练的情况下在笔记本电脑和手机上运行大型多模态模型。

  • 三元Bonsai 27B使用1.71位/权重的三元权重，占用5.9GB空间，保留了FP16基线准确率的94.6%。
  • 1位Bonsai 27B使用1.125位/权重的二进制权重，占用3.9GB空间，保留了FP16基线准确率的89.5%。
  • 架构与Qwen3.6-27B保持一致，仅将归一化和缩放参数保留为高精度。
  • 两种变体均支持262K token上下文窗口，并以Apache 2.0许可证向llama.cpp和MLX开源。

该发布旨在解决边缘设备的内存限制，允许在24GB显卡上进行单GPU服务，并在移动硬件上进行本地推理，同时保持实用性能。