PrismMLは、再学習なしでラップトップやスマートフォンで大規模マルチモーダルモデルを実行できるようにするQwen3.6-27Bモデルの低ビット量子化であるBonsai 27Bをリリースした。

  • Ternary Bonsai 27Bは、重みあたり1.71ビットのternary重みを使用し、5.9GBのサイズでFP16ベースライン精度の94.6%を維持する。
  • 1-bit Bonsai 27Bは、重みあたり1.125ビットのバイナリ重みを使用し、3.9GBのサイズでFP16ベースライン精度の89.5%を維持する。
  • アーキテクチャはQwen3.6-27Bから変更されておらず、正規化とスケールのパラメータのみが高精度で保持される。
  • 両方のバリアントは262Kトークンのコンテキストウィンドウをサポートし、llama.cppおよびMLX向けにApache 2.0ライセンスの下で利用可能である。

このリリースはエッジデバイス上のメモリ制約に対処し、24GBカードでのシングルGPUサービングやモバイルハードウェアでのローカル推論を可能にしつつ、実用的なパフォーマンスを維持する。