PrismMLは、Qwen3.6 27BにTernary/BitNetの手法を適用した新モデル「Bonsai 27B」をリリースしました。このアプローチにより、fp16に近い精度を維持しつつ、M4 Proチップ上で約10GBのメモリ消費でモデルを実行することが可能になります。
- モデルはternary GGUF形式を採用しており、推論には特定のllama.cppフォークが必要です。
- 256Kのコンテキストウィンドウとマルチモーダル入力に対応しています。
- ベンチマーク結果は、従来のQwen3.6 27Bの2〜3bit量子化よりも優れた性能を示しています。
- リリースには主要なGGUF実装に加え、MLXフォークも含まれています。
このリリースにより、VRAMが限られたラップトップやデスクトップでも高機能な27Bモデルをオンデバイスで実行することが現実的になり、ローカル展開の制約が解消されました。