Bonsai-27B および Ternary-Bonsai-27B モデルは、メインラインの llama.cpp リポジトリへの統合が強化されており、CPU、Metal、CUDA、Vulkan バックエンドにおいて Q1_0 形式のバイナリサポートが標準で利用可能になりました。Ternary サポートは現在移行段階にあり、CPU および Metal バックエンドのマージが完了していますが、CUDA および Vulkan の実装はレビュー中または保留中です。

  • 上位版 llama.cpp では Q1_0 形式のバイナリが完全にサポートされています。MLX サポートは別のプルリクエストを通じて保留中です。
  • 3つの Ternary GGUF バリアントが存在します：デモ用の group-128 Q2_0（フォーク専用）、公式の group-64 Q2_0（メインライン CPU/Metal）、そして計画されている PQ2_0 形式です。
  • Bonsai-27B は完全精度の品質の 89.5% を維持し、Ternary-Bonsai-27B は 94.6% を維持しています。両方とも、エージェントによるコーディングは現時点では主要な焦点ではないとされています。
  • Ternary モデルの約 7.2 GB のフットプリントは iOS のメモリ予算を超えており、モバイル展開には 1-bit MLX バリアントが必要です。

これらの更新により、様々なハードウェアバックエンドでこれらの極端な圧縮モデルを実行するユーザーにとって、現在の互換性状況が明確になりました。