ggmlプロジェクトは、Ternary Bonsaiモデルの使用を可能にするために、CPU向けのQ2_0量子化サポートを追加しました。このアップデートにより、ライブラリ内のQ1_0、Q2_0、Q4_0、およびQ8_0量子化ファミリーが完成しました。
- 実装はARM NEONをサポートし、汎用スカラーフォールバックを含みます。
- CPUハードウェア上で1.7B、4B、および8BのTernary Bonsaiモデルを実行可能になります。
- x86、Metal、CUDA、およびVulkanバックエンドは今後の提出を予定しています。
この追加により、ユーザーは互換性のあるCPUで新しくサポートされたQ2_0形式を使用してTernary Bonsaiモデルを実行できるようになります。